﻿MINISTERUL EDUCAȚIEI ȘI ȘTIINȚEI AL AGENȚIA FEDERALĂ PENTRU EDUCAȚIE A FEDERATIEI RUSE Institutul tehnologic al instituției de învățământ de stat federal de învățământ profesional superior "Universitatea Federală de Sud" V V KOTENKO K E RUMYANTSEV TEORIA INFORMAȚIEI ȘI PROTECȚIA TELECOMUNICAȚIILOR Rostov-pe-Don Presa Universitară Federală de Sud UDC BBK K Recenzători: profesor la Academia de Inginerie a Forțelor Aeriene NU Jukovski, doctor în științe tehnice, profesor A I Velichkin, Moscova; Șef al Departamentului Institutului Militar al Forțelor de Rachete Rostov, doctor în științe tehnice, profesor Gabrizlyan D, D , Rostov-pe-Don; Președintele Consiliului de administrație al CJSC "Institutul de Tehnologii Informaționale", șeful Departamentului "Securitatea Tehnologiei Informației" al Universității Naționale de Radio Electronică din Harkov, doctor în științe tehnice, profesor I D Gorbenko, Harkov Monografia a fost elaborată și publicată în cadrul proiectului național "Educație" în cadrul "Programului de dezvoltare a instituției de învățământ de stat federal "Universitatea Federală de Sud" pentru - " Kotenko V V , Rumyantsev K E K Teoria informației și protecția telecomunicațiilor: monografie / V V Kotenko, K E Rumyantsev - Rostov n/a: Editura Universității Federale de Sud, - p : ill ISBN - - - - Conținutul monografiei este rezultatul cercetărilor în direcția dezvoltării fundamentelor fundamentale ale teoriei informației din punctul de vedere al asigurării securității informației La baza prezentării materialului se află concretizarea conceptului modificat de teoria informației, care se dezvoltă III III privind strategia de codificare a surselor și codificarea canalelor, principiile analizei informaționale a surselor și canalelor, metode de codare eficientă și rezistentă la zgomot, fundamentele teoretice ale protecției informațiilor la codificarea surselor, principiile analizei informaționale a metodelor de protejare a informațiilor surse, abordare informațională pentru evaluarea calității comunicării și protecția informațiilor Sunt prezentate abordări originale pentru rezolvarea unei game largi de probleme de prelucrare a transmiterii și protejare a informațiilor, susținute teoretic de teoreme, corolare și dovezi ale acestora Considerarea este efectuată din poziții unificate convenite, într-un singur stil, care nu va provoca discrepanțe în înțelegerea problemelor complexe individuale O atenție deosebită este acordată tendințelor de dezvoltare a abordărilor integrate de prelucrare, transmitere și protecție a informațiilor, ceea ce este deosebit de important în contextul dezvoltării intensive a tehnologiilor informației și telecomunicațiilor Cartea este destinată oamenilor de știință și inginerilor implicați în dezvoltarea și cercetarea sistemelor de telecomunicații securizate Poate fi util studenților, studenților și studenților absolvenți în dezvoltarea problemelor de securitate a informațiilor din telecomunicații ISBN - - - - III UDC BBK (c) TTI SFU, (c) V V Kotenko, K E Rumyantsev, (c) Southern Federal Universitatea, CUVÂNT ÎNAINTE Monografia reflectă rezultatele cercetării științifice desfășurate de autori în cadrul proiectelor științifice și educaționale inovatoare ale Universității Federale de Sud, în cursul desfășurării activității de cercetare și cercetări științifice atribuite cu sprijinul grantului T -OZ - al Ministerului Științei și Educației al Federației Ruse Printre acestea, trebuie să remarcăm în special principiile construcției teoretice a teoriei informației, concretizarea bazei sale fundamentale sub formă de axiome, conceptul de teoria informației din punctul de vedere al protecției telecomunicațiilor și strategiile de codificare pentru surse discrete și continue , deschizând noi abordări ale analizei proprietăților lor În special, aceasta este o reprezentare a criptării și amestecării ca un fel de codificare sursă atunci când dicționarul de cod este modificat conform legii cheii Pe baza acestei reprezentări au fost derivate și demonstrate principalele teoreme de criptare și codificare, precum și corolarele acestora Aceste teoreme sunt prezentate pentru prima dată Pe baza acestora se obțin expresii analitice care concretizează conceptele de eficiență și puterea criptării din punctul de vedere al conceptului de teoria informației, ceea ce a făcut posibilă determinarea zonelor de asigurare a condițiilor de indescifrabilitate practică, teoretică și absolută Rezultatele fundamentale prezentate în monografie includ introducerea conceptului de "redundanță relativă" și demonstrarea din aceste poziții a teoremei de codificare pentru surse continue, precum și teoreme de codare pentru un canal la transmiterea informațiilor din surse continue Toate acestea au deschis posibilitatea unei prezentări fundamentale a abordării informaționale la o evaluare cuprinzătoare a eficacității sistemelor de comunicare și protecție a informațiilor Toate capitolele monografiei sunt de interes ca materiale de teoria informației din punctul de vedere al protecției informațiilor din telecomunicații Ele oferă abordări originale pentru rezolvarea unei game largi de probleme de procesare a transmisiei și de protecție a informațiilor, susținute teoretic de teoreme, corolare și dovezile acestora Considerarea se face cu acordul poziții comune, în același stil și nu vor provoca discrepanțe în înțelegerea problemelor individuale complexe Nivelul de prezentare a materialului monografiei este pe deplin de înțeles, atât de specialiști, cât și de studenții seniori ai universităților tehnice Monografia va fi, fără îndoială, interesantă și utilă pentru oamenii de știință din domeniul securității informațiilor, nu doar ca descriere a noilor abordări și principii de prelucrare, transmitere și protejare a informațiilor, ci și ca bază pentru potențialele cercetări în dezvoltarea unor metode promițătoare pentru asigurarea securității informaționale a sistemelor de telecomunicații și a obiectelor de informatizare O trăsătură distinctivă a monografiei în comparație cu literatura existentă despre teoria informației este luarea în considerare fundamentală a principalelor aspecte ale analizei informaționale a sistemelor de telecomunicații din punctul de vedere al securității informației Acest lucru este deosebit de important în condițiile moderne, când cercetarea în această direcție devine o prioritate Totodată, pentru prima dată, protecția informațiilor este descrisă ca una dintre sarcinile principale ale codificării informațiilor, care permite rezolvarea diferitelor probleme de prelucrare, transmitere și protejare a informațiilor dintr-o poziție unificată Monografia se bazează pe lucrările unor oameni de știință autohtoni și străini care au adus o contribuție semnificativă și general recunoscută la dezvoltarea teoriei informației, ceea ce asigură continuitatea acesteia cu alte lucrări publicate anterior despre teoria informației și disponibilitatea înțelegerii problemelor de bază ale continutul acestuia Capitolele , , , , și au fost scrise de V V Kotenko, capitolele , , , și - K E Rumiantsev Autorii îi mulțumesc lui A I Velichkina, I D Gorbenko, D D Gabrielyan și P G Gorev pentru comentarii și sfaturi valoroase, care au oferit asistență semnificativă în scrierea monografiei și pregătirea ei pentru publicare INTRODUCERE Conceptul de "informație" este obiectul de bază de studiu și cercetare în domeniul securității informațiilor Acest lucru se explică prin faptul că, fără o reprezentare clară și profundă a obiectului de protecție, este imposibil să se asigure în mod eficient securitatea acestuia Astfel, teoria clasică a informației este potențial capabilă să ofere o bază fundamentală pentru rezolvarea problemelor de protecție a informațiilor a sistemelor de telecomunicații Cu toate acestea, aplicarea ei pentru rezolvarea optimă a acestor probleme se confruntă cu problema necesității unei abordări integrate a analizei teoretice nu numai a proceselor de prelucrare și transmitere a informațiilor, ci și a proceselor de protejare a informațiilor Problema este că teoria informației ca bază fundamentală pentru rezolvarea problemelor de protecție a informațiilor din telecomunicații ar trebui să țină cont de specificul asigurării securității informațiilor Rezolvarea acestei probleme devine în prezent extrem de importantă datorită dezvoltării intense a tehnologiilor informaționale și de telecomunicații și, ca urmare, nevoii de a găsi noi abordări pentru protecția acestora Din păcate, până acum, soluția acestei probleme nu și-a găsit o reflectare constructivă în literatura științifică și educațională din domeniul teoriei informației Aceasta explică în mare măsură situația actuală destul de paradoxală, când teoria informației, având un aparat matematic potențial eficient, de regulă, nu este utilizată în rezolvarea problemelor practice de securitate a informațiilor Motivul principal al acestei situații se datorează în mare măsură faptului că încercările de aplicare eficientă a teoriei informaționale clasice pentru a rezolva problemele de protecție a telecomunicațiilor se confruntă în prezent cu o serie de probleme, ignorarea care duce adesea la rezultate distorsionate În primul rând, trebuie menționat că teoria tradițională a informațiilor, fondată de K Shannon, a fost inițial destinată doar rezolvării problemelor de telecomunicații în ceea ce privește prelucrarea și transmiterea informațiilor Cu toate acestea, ea un nume promițător poate crea iluzia universalității complete a aparatului de teorie a informațiilor și posibilitatea aplicării sale nelimitate în diverse domenii K Shannon a avertizat împotriva acestei iluzii, văzând în ea nu numai pericolul unor decizii ușoare și eronate, ci și amenințarea compromiterii teoriei informației în sine În al doilea rând, nu trebuie să pierdem din vedere faptul că dezvoltarea teoriei informației este de o natură duală de destul de mult timp Pe de o parte, aceasta este soluția problemelor matematice abstracte cu o formulare formală care este foarte departe de practica reală Pe de altă parte, aceasta este o soluție a problemelor aplicate cu o justificare matematică clar formală Astfel, teoria informației se dezvoltă în paralel de-a lungul a două direcții slab interconectate, ceea ce creează riscul unor soluții și concluzii care se exclud reciproc Această situație se complică și mai mult de ironia reciprocă în evaluarea realizărilor reprezentanților fiecăreia dintre direcții Încercările unui număr de oameni de știință de frunte, și în primul rând ale lui R Gallagher [ ], de a găsi o cale de ieșire din această situație ("creați o punte între matematicieni și ingineri"), din păcate, nu au adus încă rezultate cardinale În al treilea rând, nu a fost oferită încă o fundamentare filozofică convingătoare a conceptului însuși de "informație" Absența unui sistem filozofic unificat de vederi asupra conceptului fundamental al teoriei informațiilor este însoțită de incertitudinea conceptului de teorie în sine și, în consecință, de incertitudinea bazei sale axiomatice Acest lucru dă naștere nu numai opiniilor multi-alternative cu privire la dezvoltarea ulterioară a teoriei clasice a informațiilor, dar contribuie și la apariția unui număr semnificativ de așa-numitele "noi teorii ale informațiilor" și teorii similare, care în general complică semnificativ în continuare cercetarea științifică și destabilizează fundamentele teoretice ale acestui domeniu științific, stabilite de K Shannon [ ] În al patrulea rând, până acum doar teoria informației are un aparat matematic special dovedit care face posibilă descrierea proceselor informaționale Nevoia destul de înțeleasă de utilizare a acestui aparat în alte domenii cauzată de acest fapt, la rândul său, solicită conduce la o tendință negativă și incorectă din punct de vedere științific de a prezenta teoria informației ca parte a altor științe (de exemplu, cibernetica, informatica, matematica) Pericolul acestui lucru a fost prevăzut și avertizat împotriva lui de către K Shannon, A Kolmogorov, R Gallagher [ , , ] și alți oameni de știință de seamă Din păcate, această tendință continuă și astăzi Baza teoriei clasice a informației ca știință fundamentală este ideea semnificației definitorii a conceptelor de codificare și decodare în ceea ce privește rolul lor funcțional în procesul de schimb de informații, precum și etapa cu etapă prezentarea din punctul de vedere al sursei și canalului de transmitere a informațiilor Această idee ingenioasă a lui K Shannon a determinat împărțirea conceptului de "codificare" în problemele de telecomunicații în conceptele de "codificare sursă" și "codare canal" Valabilitatea unei astfel de împărțiri este confirmată de prezența la acel moment a două componente clar exprimate ale procesului de telecomunicații, care sunt prelucrarea informațiilor și transmiterea acesteia Din aceste poziții, scopul principal al codării sursă este reducerea volumului (compresia) informațiilor pentru procesarea eficientă a acesteia Acest obiectiv este atins prin utilizarea codurilor care reduc redundanța informațiilor Astfel de coduri sunt numite eficiente Scopul principal al codificării unui canal este de a crește cantitatea de informații transmise pentru a compensa efectul de distorsionare al interferenței în timpul transmisiei Acest obiectiv este atins prin utilizarea codurilor care măresc în mod artificial redundanța informațiilor în limitele imunității la zgomot necesare transmisiei acesteia Fără exagerare, se poate observa că această idee fundamentală a lui K Shannon este cea care oferă imunitatea destul de stabilă pe care o are teoria informației în raport cu influența distructivă a problemelor menționate mai sus și a acestora Cu toate acestea, nu ia în considerare pe deplin rolul în creștere al celei de-a treia componente a procesului de telecomunicații, care este protecția informațiilor Acest lucru și o serie de factori subiectivi au dus la încercări destul de înțelese de a rezolva problemele acestei clase în exterior teoria clasică a informației, care a dus la formarea unei direcții științifice serioase care vizează exclusiv soluționarea problemelor de securitate a informațiilor și includerea diferitelor tipuri de teorii de securitate a informațiilor Fără a minimaliza importanța realizărilor științifice în această direcție, trebuie remarcat că este potențial incapabil să ofere o soluție optimă la problemele de protecție a telecomunicațiilor Pentru aceasta, după cum arată experiența științifică, procesul de comunicare ar trebui considerat ca un întreg, adică sub forma unui complex de componente, inclusiv prelucrarea, protecția și transmiterea informațiilor Posibilitatea ieșirii din situațiile problematice remarcate deschide abordarea avută în vedere în monografie, care constă în modificarea aparatului matematic al teoriei clasice a informației, ținând cont de cea de-a treia componentă a procesului de telecomunicații - protecția informației În acest caz, modificarea se realizează în cadrul teoriei informaționale clasice fără a încălca structura acesteia, adică exclude orice revizuire a ideii fundamentale a lui K Shannon Acest lucru se realizează prin definirea obiectivelor generale ale proceselor de prelucrare și protecție a informațiilor în cadrul codării sursă, care constau în comprimarea informațiilor, precum și a obiectivelor generale ale proceselor de protecție a transmisiei și imitației, care constau în introducerea redundanței artificiale Baza abordării luate în considerare este precizarea bazei fundamentale a teoriei informației sub formă de axiome și formarea unui concept modificat de teoria informației care ține cont de procesul de protecție a telecomunicațiilor (Capitolul ) Conceptul propus este dezvoltat ulterior pe strategia de codificare sursă (capitolele , , ) și codificarea canalelor (capitolele , , ), principiile analizei informaționale a surselor (capitolele , ) și canale, metode de codificare eficientă (capitolele , ) și corectoare de erori (Capitolul ), fundamentele teoretice ale securității informațiilor la codificarea surselor (Capitolul , ), principiile analizei informaționale a metodelor de protecție a surselor de informații, abordarea informațională a evaluării calitatea comunicațiilor și securității informațiilor (Capitolul ) Capitolele monografiei oferă soluții originale la o gamă largă de probleme de prelucrare, transmitere și protejare a informațiilor, susținut teoretic de teoreme, corolare și dovezi ale acestora, care, prin extinderea potențialului cognitiv al teoriei clasice a informațiilor, deschide noi perspective cercetării în domeniul protecției telecomunicațiilor Capitolul FUNDAMENTELE TEORIEI INFORMAȚIEI Statutul și problemele teoriei informației moderne Stăpânirea cu succes a oricărei teorii științifice depinde în mare măsură de cât de clar sunt înțelese problemele și principiile construcției teoretice ale acesteia Acesta este un fel de fundație pentru formarea ulterioară a cunoștințelor științifice Cât de puternică și concretă va fi această fundație, atât de puternică vor fi cunoștințele teoretice dobândite în viitor Experiența istorică a dezvoltării cunoașterii umane arată că la baza oricărei teorii este în mod necesar un sistem de vederi (concept) științifice și filozofice asupra subiectului acestei teorii Atât semnificația științifică, cât și cea practică a teoriei în sine, precum și perspectivele dezvoltării sale ulterioare depind în mare măsură de cât de specific, de înțeles și de fundamentat științific este acest concept O privire asupra stării actuale a teoriei informației din aceste poziții relevă o serie de probleme care trebuie luate în considerare atunci când o studiem În primul rând, aceasta este problema incertitudinii existente a conceptului de bază al teoriei - conceptul de "informație" La prima vedere, o prezentare concretă și logic de înțeles a informațiilor ca un set de informații despre realitatea înconjurătoare nu dezvăluie în niciun fel natura conceptului în sine Acest lucru este dovedit de o gamă destul de largă de opinii asupra naturii informațiilor din literatura științifică modernă Gama acestui spectru poate fi judecată din două puncte de vedere polare: pe de o parte, aceasta este o afirmație despre natura materială a conceptului de informație; pe de altă parte, despre natura sa pur imaterială Aparent, o încercare de a netezi aceste contradicții poate explica ipoteza recent apărută conform căreia informația, împreună cu materia și energia, este conceptul principal al lumii noastre Din păcate, acest lucru crește și mai mult incertitudinea existentă, având în vedere natura problematică a însuși conceptului de "energie" în cadrul teoriei generale a relativităţii Probabil, înțelegerea acestei incertitudini îi face pe susținătorii unei astfel de ipoteze să tragă o concluzie destul de extraordinară că informația, fiind parametrul primar al lumii noastre, nu poate fi definită în sens strict Nu este greu de prezis consecințele unei astfel de concluzii, dacă luăm în considerare că deja acum vagul conceptului de bază duce la o ambiguitate semnificativă a sistemului de vederi (concept) asupra teoriei informației în sine Diversitatea conceptului de teorie atrage după sine o serie de consecințe negative În primul rând, aceasta este o interpretare arbitrară a locului și rolului teoriei informațiilor în sistemul general de cunoaștere științifică Nu putem decât să ne alarmăm de uşurinţa nerezonabilă cu care această teorie este considerată ca parte a altor ştiinţe, referindu-se fie la matematică, fie la cibernetică, fie chiar la informatică Mai ales dacă ținem cont de faptul că lucrarea lui K Shannon [ ], din care, după cum se crede în mod obișnuit, provine teoria informației, a fost numită "Teoria matematică a comunicării" ( ) Aceasta subliniază intenția lui K Shannon de a crea o știință independentă a transmiterii informațiilor în sistemele de comunicații Prin urmare, prezentarea sa ca parte a ciberneticii, informaticii, matematicii sau a altor științe pare cel puțin incorectă Motivele pentru o astfel de tratare foarte liberă a intenției autorului sunt foarte evidente Experiența dezvoltării cunoștințelor științifice arată că orice teorie trebuie să se bazeze pe o bază filozofică bine definită Fără el, este ca o casă construită fără temelie În acest caz, există două căi de ieșire: fie să creați și să construiți o fundație, fie să puneți această casă ca o extensie pe o fundație deja testată a unei alte structuri Dacă transferăm acest exemplu în planul teoriilor științifice, atunci a doua cale se dovedește a fi mult mai simplă Este destul de clar că au urmat-o autorii publicațiilor care definesc teoria informației ca parte a altor științe Prețul pentru aceasta este pierderea originalității și dezorientarea în raport cu sarcinile generale stabilite de K Shannon Acest lucru este ușor de observat din publicațiile în care teoria informației este considerată parte a matematicii Conținutul lor, de regulă, este plin de soluții la probleme matematice abstracte, greu de înțeles și foarte departe de unsprezece aplicatii practice legate de transferul de informatii Această tendință negativă în teoria informației a fost aceea că K Shannon, A N Kolmogorov, R Gallagher [ , , ] și alți oameni de știință Vagul conceptului de teorie a informației duce la o altă problemă - dogmatizarea procesului de dezvoltare a teoriei Incertitudinea cu privire la corectitudinea alegerii obiectivelor de dezvoltare duce la o reacție complet înțeleasă de ridicare în dogme deja existente și realizări dovedite pentru a le proteja de posibilul impact negativ al problemelor inevitabile de dezvoltare Consecința acestui lucru este, de regulă, o tendință de a ignora problemele evidente dacă acestea amenință dogmele Deci, problema identității conceptelor de entropie și cantitatea medie de informații pentru o sursă este încă ignorată Într-o situaţie similară se află problema aplicabilităţii aparatului teoriei de apreciere a sensului informaţiei transmise Perspectivele îndoielnice de modernizare a acestui aparat în condițiile incertitudinii bazei filozofice provoacă în mod firesc respingerea încercărilor de a rezolva această problemă în cadrul teoriei informaționale tradiționale Acest lucru duce la apariția unor "teorii informaționale" alternative "noi" și similare care pretind că rezolvă această problemă Figurat vorbind, apare o situație destul de paradoxală când, ca urmare a dogmatizării aparatului, dezvoltarea teoriei depășește cadrul ei Incertitudinea conceptului de bază al teoriei atrage după sine problema ambiguității unui număr de concepte de bază și definiții ale proceselor de prelucrare și transmitere a informațiilor În primul rând, acest lucru se aplică unor concepte precum "mesaj" și "codificare" Astfel, un mesaj este adesea definit ca "știri", mai des ca "un set de date" sau ca "secvență de caractere", iar uneori ca "semnal la o etapă anterioară de prelucrare" Gama de reprezentare a codificării este similară, care se extinde de la o definiție destul de abstractă sub forma "afișării informațiilor într-un set convenabil de simboluri de cod" la "transformarea mesajelor într-o secvență de semnale electrice cu semne de cod" Această ambiguitate întărește lipsa unei justificări mai mult sau mai puțin convingătoare a relației dintre conceptele de "codificare" și "criptare" Incertitudinea existentă în înțelegerea acestei relații conduce la o excludere nejustificată a sarcinilor de protecție a informațiilor din setul general de probleme de codificare sursă și codare de canal, ceea ce afectează negativ integritatea reprezentării atât a proceselor de transmitere a informațiilor, cât și a proceselor de protecție a acesteia Este important de remarcat faptul că marea majoritate a definițiilor ambigue întâlnite în teoria modernă a informațiilor sunt, în principiu, corecte Problema este că ele reflectă doar "fațetele" conceptelor care se definesc, fără a oferi o imagine completă a acestora În general, totalitatea problemelor notate și însoțitoare are un impact negativ asupra stării teoriei informaționale tradiționale În primul rând, acest lucru se manifestă în incertitudinea scopurilor, obiectivelor și direcțiilor dezvoltării sale Astfel, prezentarea unei teorii ca parte a unui anumit domeniu științific duce la o transformare complet înțeleasă a scopurilor acesteia în conformitate cu scopurile acestui domeniu Varietatea încercărilor de o astfel de reprezentare menționată mai sus cauzează în mod destul de firesc varietatea acestor transformări Incertitudinea generată în acest fel este sporită și mai mult de ambiguitatea conceptelor de bază de bază ale teoriei în sine, care în cele din urmă complică foarte mult procesul de dezvoltare și aplicarea ulterioară a acesteia Principii de construcție teoretică Sistem de axiome și definiții inițiale Metoda deductivă stă la baza principiilor de construcție a teoriei informațiilor Când Euclid în cartea sa "Elemente" [ ] a unit pentru prima dată toate legile geometrice cunoscute până la acea vreme (secolul al IV-lea î Hr ) într-un singur sistem didactic, cu greu și-a pus sarcina de a defini o nouă abordare a construcției teorii științifice Marele om de știință a creat și aplicat pur și simplu un "instrument" convenabil pentru a atinge un obiectiv specific Cu toate acestea, pe măsură ce știința s-a dezvoltat în mai mult de două milenii, au fost este clar că construcția deductivă a teoriilor este cea mai optimă și perfectă Astăzi, oamenii de știință din aproape toate domeniile științifice încearcă să prezinte, dacă este posibil, rezultatele cercetării lor într-o formă deductivă, care este una dintre cele mai importante trăsături ale științei moderne Conținutul metodei deductive de construire a teoriilor științifice în general poate fi format după cum urmează Teoria științifică în acest caz este prezentată ca un fel de sistem deductiv, care se bazează pe un anumit set de propoziții inițiale nedemonstrabile și concepte inițiale nedefinite Din setul de propoziții inițiale, care includ axiome (postulate) și definiții inițiale, propozițiile derivate numite teoreme sunt dovedite sau derivate pas cu pas Axiomele în sine nu pot fi dovedite și sunt propoziții care sunt acceptate fără dovezi ca premise inițiale Acceptarea unor astfel de premise este absolut necesară, întrucât demonstrația oricărei teoreme este derivată din ceva stabilit mai devreme, iar unele premise inițiale trebuie acceptate ca fiind inițiale Din același motiv, toate conceptele întâlnite într-un sistem dat nu pot fi definite: unele dintre ele nu sunt definite, ci sunt considerate inițiale, iar toate celelalte sunt determinate pe baza lor Figurat vorbind, construirea unei teorii științifice prin metoda deductivă poate fi comparată cu construcția unei anumite clădiri, a cărei fundație este pusă prin stabilirea de axiome (postulate), definiții și concepte inițiale, iar etajele sunt ridicate prin derivarea secvențială dovezi de teoreme bazate pe acest fundament Aparent, acesta este ceea ce a influențat în mare măsură punctul de vedere al lui Euclid, care credea că toate postulatele și definițiile inițiale trebuie să fie absolut de încredere Din această prevedere a rezultat adevărul absolut al întregului sistem, deoarece toate propozițiile sale sunt consecințe necesare ale postulatelor și definițiilor Această opinie eronată a fost considerată incontestabilă până la începutul secolului al XIX-lea, până când un nou nivel calitativ de dezvoltare a științei și tehnologiei a pus-o în dubiu S-a dovedit că axiomele și definițiile pot și trebuie considerate ca propoziții alese condiționat Datorită acestui fapt, oamenilor de știință s-a deschis libertatea în alegerea axiomelor (postulatelor) și a definițiilor dorite care, în opinia lor, contribuie la atingerea scopului Să definim, din punctul de vedere al metodei deductive, sistemul de axiome și definiții inițiale care stau la baza teoriei informației Pentru aceasta, formulăm reprezentarea inițială a conceptului de "informație" Axioma Conceptul de "informație" se formează numai în procesul comunicării Conform axiomei, conceptul de "informație" este specific numai procesului de comunicare dintre un obiect informațional și o persoană, care în acest caz poate fi considerat ca elemente ale unei anumite scheme de comunicare (Fig ) O sursă de informare K;in;il comunicatii * Fig Schema de comunicare Obiectul informației acționează aici ca o sursă de informație, iar persoana - ca destinatar al acesteia În acest caz, fie mediul poate acționa ca un canal de comunicare, care corespunde comunicării directe, fie mijloc tehnic, care determină comunicarea tehnică (telecomunicația) Axioma Obținerea informațiilor este cea mai importantă nevoie a vieții umane Informația este primită de o persoană prin intermediul organelor sale de simț Din acest punct de vedere, informațiile pot fi clasificate astfel: - informatii care vin prin organele auzului; - informatii care vin prin organele vederii; - informatii care vin prin organele tactile; - informatii primite prin simtul mirosului Informația este percepută de simțurile umane atât prin interacțiunea directă cu mediul, cât și în procesul de schimb de informații prin mijloace tehnice În același timp, o persoană, un mijloc tehnic sau mediul însuși în toată diversitatea sa de manifestări poate acționa ca obiect de informare Toate acestea explică în mare măsură sensul dublu al definițiilor existente în prezent ale conceptului de "comunicare" Pe de o parte, comunicarea este înțeleasă în mod obișnuit ca un act de comunicare, comunicare de informații de către o persoană către alta sau un număr de persoane; pe de altă parte, o formă de comunicare folosind mijloace tehnice (cum ar fi telefonul, telegraful, radioul, televiziunea) Aceasta oferă motive pentru clasificarea informațiilor în informații de comunicare directă și informații de comunicare tehnică Informațiile de comunicare directă (INC) sunt informații percepute de simțurile umane (H) în comunicare directă cu alte persoane, mijloace tehnice (TS) sau în interacțiune directă cu mediul Informațiile tehnice de comunicare (ITC) sau informațiile de telecomunicații sunt informații percepute de simțurile umane atunci când comunică prin mijloace tehnice de comunicare (TCC) L- J a b Orez Scheme de comunicații directe (a) și tehnice (b) O comparație a schemelor de comunicații construite pe baza clasificării introduse (Fig ) arată că principala diferență între schema ITC este utilizarea unui canal de comunicații tehnice sau a unui canal de telecomunicații construit pe baza TSC Progresul științific și tehnologic al secolului XX a dat naștere unei tendințe de creștere constantă a ITC în cantitatea totală de informații Acest lucru a condus la faptul că deja la începutul anilor și , informațiile tehnice de comunicare au început să capete o importanță dominantă printre alte tipuri de informații În această perioadă, după cum sa menționat deja, începe dezvoltarea teoriei informaționale tradiționale Raportul dintre aceste două fapte istorice ne permite să ajungem la următoarele concluzii: în primul rând, crearea teoriei informației este cauzată de un model obiectiv care a apărut în cursul progresului științific și tehnologic; în al doilea rând, teoria a fost inițial menită să ofere suport teoretic fundamental pentru rolul crescând al ITC, ceea ce este firesc în condițiile progresului științific și tehnologic Concluzia obținută subliniază rolul independent al teoriei informațiilor în sistemul general de cunoaștere științifică În plus, și cel mai important, vă permite să desemnați zona de aplicare rapidă a teoriei, depășind limitele căreia poate duce la rezultate eronate Aceasta înseamnă că teoria tradițională a informației este destinată exclusiv rezolvării problemelor de prelucrare și transmitere a informațiilor în telecomunicații (comunicare tehnică), iar utilizarea ei în alte scopuri necesită o anumită prudență Pe baza clasificării introduse, se pot preciza caracteristicile inerente schimbului de informații în procesul de comunicare Axioma Informația în timpul comunicării are în mod necesar o anumită formă Axioma În procesul de telecomunicații, forma informației este întotdeauna supusă modificării Schimbarea formei informațiilor în procesul de telecomunicații este definită de conceptul de "codare" Pentru a determina natura și conținutul conceptului de "formă de informare", să ne întoarcem la axioma stabilită anterior și să facem o analogie cu o altă nevoie majoră a vieții umane asociată cu consumul de apă În acest caz, dacă vorbim despre transferul de apă de la o persoană la alta, atunci ne referim întotdeauna la o anumită formă, un pahar cu apă, o cană și altele asemenea În cazul în care se utilizează sisteme tehnice speciale (fabrici, transport) pentru producerea și livrarea apei, aceasta este furnizată consumatorilor sub forma unei singure forme (de exemplu, sub formă de sticlă), după care fiecare dintre ele schimbă această formă într-o formă convenabilă pentru consum (de exemplu, sticlă sau sticlă) Proiecția acestor considerații asupra procesului de obținere a informațiilor prin telecomunicații explică în mare măsură conceptul introdus de "formă de informare", dar nu permite dezvăluirea pe deplin a naturii acestuia Motivul pentru aceasta este paradoxul inerent schimbului de informații La un moment dat a fost reflectat în mod strălucit de marele scriitor și dramaturg B Shaw într-una dintre declarațiile sale Literal, suna așa: dacă tu ai un măr și eu am un măr, atunci în schimb vom avea un măr; dacă eu am o idee și tu ai o idee, vom avea fiecare câte două idei în schimb Dezvoltând gândirea scriitorului, să formulăm acest paradox ca o axiomă Axioma Paradoxul lui Shaw Informaţia în comunicare are un caracter dual, în care componentele logice şi cele materiale apar simultan Valoarea paradoxului lui Shaw constă în faptul că el stabilește niveluri de prezentare a informațiilor: logic și material La fiecare nivel de reprezentare, conform axiomei , informaţia poate lua diverse forme: la nivel logic, diverse forme logice; la nivel material, diverse forme materiale În același timp, pe baza naturii duale a informațiilor, stabilită de Axioma , fiecărei forme logice îi corespunde o formă materială strict definită Principala formă logică a informației este un mesaj, principala formă materială este un semnal Acest lucru este confirmat de definiția general acceptată [ ] pentru un semnal: Un semnal este o realizare materială (forma materială) a unui mesaj Aceasta presupune oportunitatea a două niveluri de reprezentare a proceselor de telecomunicații: logic și material La nivel logic, schema generalizată de telecomunicații este afișată în forma prezentată în fig Ca principală formă logică a informației generate de sursa de informații (II), iată mesajele care sunt codificate (K) Orez Schema generalizata a telecomunicatiilor În cursul codificării, forma logică a informației sursă (mesaj) este convertită la tipul formei logice stabilite în canalul de transmitere a informațiilor sau canalul de comunicație (CS) Un canal de comunicare este un set de mijloace tehnice folosite pentru a transmite mesaje (semnale) de la un expeditor la un destinatar [ ] Forma logică obținută ca rezultat al codificării este denumită în mod obișnuit o combinație de cod sau o secvență de cod Distorsiunea informației este posibilă în canalul de comunicare, prin urmare scopul principal al decodării (DC) este restaurarea cea mai precisă a formei inițiale a informațiilor (mesaj) pentru ca aceasta să fie percepută de către destinatarul informațiilor (PI) Este ușor de observat că codarea (decodarea) este baza telecomunicațiilor Acest lucru explică în mare măsură importanța dominantă acordată codificării în teoria informației Sarcinile de codificare sunt determinate de cerințele pentru telecomunicații, dintre care principalele sunt: operaționale ness, imunitate la zgomot, confidențialitate (secret) De aici os- Noile sarcini de codare sunt: Sarcina de reducere a volumului de informații pentru a asigura eficiența comunicării, care este definită ca sarcina de comprimare a informațiilor; Sarcina de creștere a volumului de informații pentru a obține imunitatea la zgomot necesară, care este definită ca sarcina de codificare redundantă sau rezistentă la zgomot; Sarcina de a restricționa accesul neautorizat la informații pentru a asigura confidențialitatea necesară, care este definită ca sarcina de a proteja informațiile Observați antagonismul evident al primei și celei de-a doua sarcini Se poate presupune că el a fost la un moment dat principalul obstacol în calea creării teoriei informației K Shannon a fost primul care a înțeles această problemă și a propus o idee a soluției sale, ingenioasă prin simplitatea ei, care a constat în împărțirea conceptului de "codare" în "codare sursă" și "codare canal" Implementarea sa a condus la o transformare complet naturală a schemei de comunicare din Fig la vederea prezentată în fig Această schemă prevede etape independente de codare: codare sursă (CI); codificarea canalelor (CC) Orez Schema de telecomunicații Stratul de prezentare logică În prima etapă, forma logică a ITC a tipului de mesaj este convertită în forma combinației de cod (secvență de cod) a sursei, care, în a doua etapă, este convertită în forma combinației de cod (cod) secvență) a canalului Astfel, implementarea ideii lui K Shannon duce la o creștere a numărului de tipuri de forme logice ale ITC până la trei Introducerea unui tip suplimentar de formă logică a ITC ne permite să ne despărțim sarcinile de codificare antagoniste și să le facă independente În acest caz, compresia și criptarea devin principalele sarcini de codare sursă, iar codarea de corectare a erorilor este sarcina principală de codare pentru canal Trecerea la nivelul material al reprezentării telecomunicațiilor poate fi considerată ca urmare a transformării schemei din Fig la înlocuirea mesajelor cu forma lor materială sub formă de semnal, ținând cont de procesele fizice de transformare a acestei forme în cursul telecomunicațiilor O vedere generală a rezultatului unei astfel de transformări este prezentată în Fig În diagrama de mai sus, sursa de informații generează semnale corespunzătoare unui anumit tip de informații de telecomunicații Orez Schema de telecomunicații Stratul de prezentare a materialului Se crede că principalele tipuri de ITC sunt: informația audio, care este un ITC perceput de organele auditive ale destinatarului informațiilor; informație video - ITC, percepută de organele de vedere ale PI Semnalele sursă corespunzătoare informațiilor audio, în cazul general, sunt vibrații elastice ale mediului (vibrații acustice) Astfel de semnale se numesc semnale acustice Semnalele sursă corespunzătoare informațiilor video sunt un flux de lumină care transportă informații despre imagine Dispozitivele de conversie directă a semnalului sursă (DSC) generează semnale electrice de joasă frecvență (LF), care, în funcție de tipul ITC, sunt definite ca semnale audio sau semnale video La formare Următoarele lanțuri de conversie sunt de obicei utilizate în transmiterea acestor semnale în UPSI: semnal acustic - conversie electro-acustică - conversie digitală - semnal audio flux luminos - formarea unui câmp de potențiale electrice - scanare - conversie digitală - semnal video În unele cazuri, este posibil ca o astfel de conversie digitală să nu fie disponibilă Pe baza acestui fapt, semnalele audio și video sunt de obicei împărțite în analog (continuu) și digital (GOST - ) Semnalele digitale de la ieșirea USHIC sunt adesea denumite date Relația dintre formele logice și cele materiale corespunzătoare ale NTC se manifestă sub forma unei modificări a parametrilor semnalului în conformitate cu mesajul Parametrul de semnal care reflectă mesajul se numește prezentator, iar alți parametri care nu sunt asociați cu mesajul sunt considerați însoțitori Un semnal analog (continuu) este un semnal în care fiecare dintre parametrii reprezentativi este valorificat continuu Un semnal cu parametri reprezentativi discret semnificativi se numește digital [ ] Transformările sunt efectuate în dispozitivele de procesare și protecție (PDD) pentru a proteja semnalele de accesul neautorizat În special, aceste transformări pot include codificarea și procesarea criptografică (criptarea) parametrilor semnalului Convertoarele de semnal de canal direct (DDC) modifică forma de undă pentru a se potrivi cerințelor canalului de comunicație În același timp, implementează o serie de transformări care asigură imunitate la zgomot și protecția semnalelor împotriva accesului neautorizat Prin natura lor, semnalele de la ieșirea UPSC sunt oscilații electromagnetice (electrice) de înaltă frecvență (HF) corespunzătoare tipului de canale de comunicație (de exemplu, semnale radio sau semnale de televiziune) În dispozitivele de conversie inversă (UOPSk și UOPSi), se efectuează un complex de transformări, al căror scop este în cele din urmă acela de a converti furnizarea unui semnal destinatarului de informații care se potrivește cel mai bine cu semnalul sursă Reprezentarea de mai sus a telecomunicațiilor la nivel material este destul de generală și necesită de obicei detalii suplimentare Cu toate acestea, chiar și în această formă arată: În timpul telecomunicațiilor, are loc o modificare a formei materiale a ITC, similară cu o modificare a formei sale logice, de exemplu: - pentru informatii audio, acesta este circuitul: semnal acustic - semnal audio - semnal radio; - pentru informatii video, acesta este circuitul: flux luminos - semnal video - semnal de televiziune Reprezentarea telecomunicatiilor la nivel logic sta la baza prezentarii acesteia la nivel material Reprezentarea la nivel material joacă un rol extrem de important în explicarea naturii fizice a conceptelor și transformărilor nivelului logic O serie de teorii dovedite științific și semnificative practic, cum ar fi teoria telecomunicațiilor, teoria comunicațiilor radio, teoria statistică a comunicațiilor radio și altele, sunt dedicate unui studiu și studiului detaliat al proceselor de telecomunicații la nivel material Teoria informației, după cum se poate observa din cele de mai sus, este destinată în primul rând soluționării problemelor de telecomunicații la nivel logic în ceea ce privește optimizarea proceselor de schimb de flux de informații Permite obținerea de soluții generale pentru diverse forme materiale de informații Aceasta implică importanţa fundamentală a teoriei informaţiei pentru teoriile menite să rezolve problemele telecomunicaţiilor la nivel material Conceptul de bază al descrierii teoretice a formelor informaţionale la nivelul logic al reprezentării este conceptul de "ansamblu" Ansamblul nu este care este un set de valori aleatorii ale unei anumite forme logice de informații În ceea ce privește teoria tradițională a informației, un ansamblu este dat de un spațiu eșantion și de o măsură de probabilitate În cazul general, spațiul eșantion este un set de valori ale formei logice corespunzătoare ansamblului, iar măsura probabilității este setul de probabilități corespunzătoare acestor valori Dacă spațiul eșantion al ansamblului este discret, atunci ansamblul este considerat a fi discret; dacă este continuu, atunci ansamblul este considerat a fi continuu și reprezentat ca un proces aleatoriu Astfel, un ansamblu discret este definit printr-un spațiu eșantion, care este un set de valori discrete de o formă logică de un anumit tip (mesaje sau combinații de cod) și o măsură probabilistă pe mulțimea acestor valori, reprezentând totalitatea a probabilităţilor lor Spațiul eșantion al unui astfel de ansamblu se numește discret și are următoarele proprietăți: - orice unire sau intersecție finită sau numărabilă de mulțimi de valori ale formei logice este o altă valoare a formei logice; - complementul oricărei valori de formă logică este o altă valoare de formă logică La prima vedere, a doua proprietate contrazice natura semantică a ITC Cu toate acestea, această contradicție poate fi rezolvată pur și simplu prin atribuirea unei valori a unei forme logice care nu are sens în cadrul limbajului folosit, probabilitate zero Măsura de probabilitate a unui ansamblu discret are următoarele proprietăți: - fiecare valoare a formei logice are o probabilitate nenegativă; - întreg spaţiul eşantionar are o probabilitate egală cu unu; - probabilitatea oricărei uniuni finite sau numărabile de valori care nu se intersectează ale formei logice este egală cu suma probabilităților valorilor individuale ale formei logice Definiția unui ansamblu discret se bazează pe atribuirea unui alfabet Un alfabet este un set finit de litere (simboluri) din care se formează valorile unei forme logice, cu probabilități date ale acestor litere (simboluri) Un ansamblu continuu este definit în general printr-un spațiu eșantion, care este un proces aleator continuu, și o măsură probabilistică care combină densitățile de probabilitate ale realizărilor acestui proces Ansamblul folosit pentru a reprezenta o sursă de informație este de obicei numit ansamblu de mesaje, iar valorile spațiului său eșantion se numesc mesaje În același timp, inițial se consideră că mesajele diferite conțin o cantitate diferită de informații Axioma , Un mesaj mai puțin probabil conține mai multe informații Axioma Informația conținută într-un anumit set de mesaje independente corespunde sumei informațiilor acestor mesaje Sistemul prezentat de axiome și definiții inițiale poate fi considerat ca o bază pentru dezvoltarea ulterioară a teoriei informațiilor Cu toate acestea, aplicarea sa cu succes necesită concretizarea strategiei de construcție teoretică ulterioară Acest lucru se realizează prin concretizarea sistemului de opinii științifice asupra teoriei informației sau a conceptelor de teoria informației Conceptul de teoria informației Generalizarea raționamentului de mai sus ne permite să determinăm principalele componente ale conceptului de teoria informației: Informația, ca concept, este specifică numai procesului de comunicare țiuni Obținerea de informații despre realitatea înconjurătoare este cea mai importantă nevoie a vieții umane Informația este percepută de o persoană prin intermediul simțurilor, atât prin interacțiunea directă cu mediul, cât și în procesul de schimb de informații Informațiile primite de o persoană prin comunicare sunt împărțite în informații de comunicare directă și informații de telecomunicații Informațiile de telecomunicații sunt înțelese ca informații primite de o persoană prin mijloace tehnice de comunicare Apariţia teoriei informaţiei este cauzată de un model obiectiv, constând în rolul crescând al ITC în condiţiile progresului ştiinţific şi tehnologic Teoria informaţiei ocupă un loc independent în sistemul general al cunoaşterii ştiinţifice şi este menită să rezolve problemele de transmitere şi prelucrare a informaţiei de telecomunicaţii Aplicarea inadecvată a teoriei necesită o anumită prudență, deoarece poate duce la rezultate eronate Informaţia de comunicare are o natură duală, în care componentele logice şi cele materiale apar simultan Aceasta implică existența unor forme materiale logice și corespunzătoare de reprezentare a acestor informații Forma logică inițială este mesajul, forma materială este semnalul la ieșirea sursei Principalele tipuri de ITC sunt informațiile audio și informațiile video Forma logică inițială a informațiilor audio este un mesaj audio; informații video - mesaj video Principala formă materială inițială a informațiilor audio este un semnal acustic; informatii video - flux luminos Două niveluri de reprezentare a telecomunicațiilor există și sunt rezonabile: logic și material Teoria informației este concepută pentru a rezolva problemele de comunicare în principal la nivel logic Procesul de comunicare, atât la nivel logic, cât și la nivel material de reprezentare, se caracterizează printr-o schimbare a formei ITC Transformarea formei ITC se numește codificare Codificarea este baza telecomunicațiilor La nivelul logic al prezentării, codificarea este împărțită în codificare sursă și codificare canal Principalele sarcini ale codării sursă sunt: comprimarea și protecția informațiilor Codarea sursă va fi optimă numai cu o soluție complexă a problemelor notate Sarcina principală de codificare pentru un canal este codificarea de corectare a erorilor Conceptul inițial al teoriei informațiilor este conceptul de "mesaj" Mesajele și sursele de informații care le formează sunt împărțite în continue și discrete Forma materială a mesajului este un semnal Relația dintre formele logice și cele materiale corespunzătoare ale ITC se manifestă sub forma unei modificări a parametrilor semnalului în conformitate cu mesajul Sistemul de vederi (concept) prezentat despre teoria informației deschide posibilitatea rezolvării unui număr de probleme inerente stării actuale a teoriei În primul rând, elimină incertitudinea cu privire la locul și rolul teoriei informațiilor în sistemul general de cunoaștere științifică În al doilea rând, acest concept permite concretizarea subiectului teoriei și determinarea sferei de aplicare a acesteia, depășind limitele căreia poate duce la rezultate eronate care discreditează teoria însăși În al treilea rând, introducerea sa a două niveluri de reprezentare a procesului de telecomunicații deschide perspectiva eliminării ambiguității în definirea conceptelor de bază ale teoriei informațiilor și a relației lor În al patrulea rând, din punctul de vedere al acestei con- conceptele devin clare și preiau caracteristicile reale ale strategiei de codare sursă și ale strategiei de codare a canalului În al cincilea rând, care este deosebit de important pentru specialiștii în securitatea informațională a sistemelor de telecomunicații, stabilește pentru prima dată fezabilitatea unei soluții cuprinzătoare la problemele de compresie și protecție a informațiilor la codificarea unei surse Trebuie subliniat că acest sistem de vederi nu depășește în niciun caz teoria clasică a informației și, cel mai important, este deschis dezvoltării ulterioare Astfel, stabilirea unui nivel logic de reprezentare a telecomunicațiilor lasă loc rezultatelor cercetărilor ulterioare în direcția aprecierii sensului informațiilor transmise Alături de aceasta, descoperirea fezabilității unei soluții cuprinzătoare la problemele comprimării și protecției informațiilor la codificarea unei surse deschide un câmp larg de activitate în direcția căutării de noi abordări ale compresiei informațiilor bazate pe protecția acesteia Apropo, posibilitatea unor astfel de abordări a fost prezisă cu brio de K Shannon în lucrarea sa "Teoria comunicării în sistemele secrete" [ ] Pentru a descrie procese reale din punctul de vedere al oricărui concept, acestor procese trebuie neapărat să li se dea o anumită imagine matematică care să permită o evaluare cantitativă Cuantificarea informațiilor Cantitatea de informații Cea mai importantă problemă a specificării conceptelor de teoria informației a fost întotdeauna stabilirea unei măsuri a cantității de informații Primul pas productiv în această direcție a fost făcut în de omul de știință american R Hartley, care, folosind aparatul matematic al teoriei probabilităților, a schițat pentru prima dată o abordare generală pentru determinarea măsurii cantității de informații Să dezvăluim conținutul acestei abordări Teorema Lasă și fii un mesaj Atunci, dacă probabilitatea p(u) a acestui mesaj este cunoscută, atunci cantitatea de informații din mesaj este determinată ca J[u] = log - = -log "(u)- ( ) rp(u)r Dovada Pentru a demonstra teorema, vom efectua o serie de experimente de gândire Referinţă Ideea unui experiment de gândire ca instrument puternic de cunoaștere a fost propusă pentru prima dată de marele om de știință Galileo Galilei ( - ) Ea constă în desfășurarea mentală a unui astfel de experiment, care nu poate fi pus în practică, totuși, prezicând rezultatul său pe baza unei înțelegeri profunde a legilor lumii înconjurătoare, se pot cunoaște și mai profund legile naturii Primul experiment Examinați mental mesaje u și u despre unele evenimente: - mesajul u: "Anul acesta s-a recoltat o recoltă record în regiunea Rostov"; - mesajul i : "O navă spațială cu extratereștri la bord a aterizat lângă Moscova" Să stabilim care dintre aceste mesaje oferă mai multe informații pentru noi Raționând logic, putem concluziona că acest mesaj este U Mesajul interfață de utilizator transportă cu siguranță informații pentru noi, dar este mai previzibil (mai probabil) Vremea era bună și era de așteptat o recoltă mare de cereale Astfel, mesajul u ne-a comunicat doar că așteptările noastre au fost confirmate În schimb, mesajul u conține mult mai multe informații pentru noi, deoarece este complet neașteptat (mai puțin probabil) Analizând rezultatele acestui experiment și ținând cont de Axioma , putem concluziona că cantitatea de informații dintr-un mesaj este o funcție a valorii invers proporțională cu probabilitatea acestui mesaj, i e Al doilea experiment Să presupunem mental că am primit informațiile mesajelor ui și U- simultan într-un singur mesaj Cum va fi determinată cantitatea de informații în acest caz? Răspunsul este evident Deoarece aceste evenimente sunt independente, informația comună conform Axiomei va fi definită ca o simplă sumă a informațiilor unuia și a informațiilor altui mesaj: ( - ) Analizând rezultatele experimentului, să răspundem la întrebarea: ce funcție matematică asigură îndeplinirea egalității ( )? Răspunsul va fi fără echivoc - logaritmi Astfel, putem concluziona că cantitatea de informație din mesaj este determinată de o expresie de forma J[u] = logr - = - logr p (u) Q E D p(K) Este ușor de observat că în determinarea cantității de informații ( ) există încă incertitudine, întrucât întrebarea rămâne fără răspuns: în ce unități se poate măsura informația? Analiza expresiei ( ) permite Nu putem concluziona că răspunsul la această întrebare va fi dat prin specificarea bazei logaritmului Este în general acceptat că dacă r = , atunci informația este măsurată în biți (biți); r = e = , - în nat (nat); r = - în dits (dit) De obicei, în formula ( ), se realizează logaritmul binar, iar informația este măsurată în bi max În situații reale, sursa generează adesea mesaje din literele alfabetului sursei: A = ^a avd ) cu probabilități Apoi în pro- În cel mai simplu caz, atunci când literele alfabetului sunt la fel de probabile și independente reciproc (/?(a ) = iar mesajele au o lungime constantă L (un număr constant de litere), cantitatea de informații din fiecare mesaj este definită la fel de treizeci j[u] = LJ[aj] = Llogr = z-logr(w ), unde J[a, ] = log cantitatea de informații dintr-o scrisoare Această formulă a fost obținută în de R Hartley Întrebarea este legitimă: de ce se consideră că începutul dezvoltării teoriei informației este considerat a fi din , deși unitatea de măsură a acesteia a fost determinată încă din ? După cum sa menționat deja, R Hartley a propus doar o abordare a evaluării cantitative a informațiilor Cu toate acestea, nu a putut dezvălui conținutul procesului de schimb de informații și, mai ales, să lege acest proces de comunicare (axioma ), ceea ce nu i-a permis să meargă mai departe în cercetarea științifică Formula pe care a primit-o permitea rezolvarea doar a problemelor abstracte și era inacceptabilă pentru problemele reale de schimb de informații În plus, în sursele reale de informații discrete, literele alfabetului nu sunt la fel de probabile și, prin urmare, cantitatea de informații din mesajele generate nu este aceeași Se schimbă constant pe măsură ce mesajul este format de sursă, iar procesul acestei schimbări este aleatoriu Rezultă că cantitatea de informații nu poate fi utilizată ca o caracteristică a procesului de schimb de informații Cu toate acestea, în ciuda acestui fapt, acesta rămâne conceptul principal al teoriei informațiilor Raționamentul de mai sus ne permite să formulăm principalele proprietăți ale cantității de informații cțiuni: - mesajele mai puțin probabil să conțină mai multe informații macia; - cantitatea de informații din mai multe mesaje independente este egală cu suma cantităților de informații conținute în mesaje separate (proprietatea aditivității); - cantitatea de informații din rapoartele surselor reale este aleatorie Cantitatea medie de informație și entropie Așadar, din , s-a dezvoltat o situație destul de paradoxală, când era indicată abordarea determinării cantității de informații și a unităților de măsură ale acesteia, dar ce și cum să măsoare, în raport cu ce probleme practice reale, a rămas neclar Nu se poate spune că nu au existat încercări de rezolvare a acestei probleme după descoperirea lui R Hartley, totuși, după cum mărturisește istoria, acestea s-au încheiat invariabil în zadar A fost nevoie de geniul teoretic și practic al lui K Shannon, înțelegerea sa profundă a problemelor reale ale schimbului de informații, pentru a da un impuls puternic formării și dezvoltării teoriei informației ca știință Cheia succesului a fost că K Shannon a rezolvat problema remarcată în raport cu problemele reale ale schimbului de informații - problemele telecomunicațiilor (comunicațiilor) În primul rând, acest lucru a făcut posibilă concretizarea unui număr de concepte, de exemplu, conceptul de informație proprie Informațiile proprii sunt considerate informații conținute în mesajul în sine În sistemele de telecomunicații, sursa informației poate emite diverse mesaje u, fiecare dintre acestea fiind caracterizat de propria sa informație J[u, ] = -logr(p(uj)) (b ) Un exemplu tipic este mesajele literale transmise în sistemele de telecomunicații În acest caz, cantitatea de informații proprii ale mesajului, conform ( ), va fi determinată de probabilitățile literelor din care este compus Se știe că fiecare literă în orice limbă are probabilitatea ei, distinctă de alte litere Astfel, fiecare mesaj va avea propria sa (diferită de celelalte mesaje) cantitatea de informații Rezultă că în telecomunicații cantitatea de informații proprii se modifică în timp Și deoarece formarea literelor oricărei limbi este aleatorie, această schimbare va fi, de asemenea, aleatorie Apare o problemă: cantitatea de informații proprii nu poate fi folosită ca informație caracteristică telecomunicațiilor, din cauza caracterului aleatoriu al acesteia K Shannon a propus o modalitate destul de simplă (dar la un moment dat ingenioasă) de a rezolva această problemă din punctul de vedere al ideilor moderne: să folosească ca atare caracteristică informațională nu cantitatea de informație proprie în sine, ci așteptarea ei matematică Această caracteristică se numește cantitatea medie de autoinformare sau pur și simplu cantitatea medie de informație Pentru cazul în care sursa de informație este dată de un ansamblu discret U, al cărui spațiu eșantion este format din mesaje independente u, această caracteristică este definită ca I[U] = M{j[u, ]} = -£/? (u, ) H[X], care urma să fie demonstrat Proprietatea Entropia este maximă atunci când toate mesajele care alcătuiesc spațiul eșantion al unui ansamblu discret sunt la fel de probabile Dovada Având în vedere că entropia ansamblului, în care toate m elementele sunt echiprobabile, este definit ca NShK[X] = -milog- = logm, t t demonstrarea proprietății se reduce la demonstrarea inegalității H[X] , obținem: H[S] = - Jp(s)logr P(s)ds - lim logr As = h[S] + a ( , ) Din ( ) se poate observa că entropia unui ansamblu continuu conține două componente, dintre care cea de-a doua (a) dă naștere problemei entropiei care tinde spre infinit trecând la un spațiu eșantionar continuu (Dy -> ) ) Din punct de vedere fizic, acest rezultat este destul de de înțeles Într-adevăr, din punctul de vedere al ansamblurilor discrete, entropia este incertitudinea medie a elementelor spațiului eșantion Astfel, putem presupune că un spațiu de probă continuu are un număr infinit de stări Prin urmare, incertitudinea sa va fi infinit de mare K Shannon a propus o soluție destul de originală și simplă la această problemă [ ], care constă în următoarele: la determinarea entropiei ansamblurilor continue ( ), ne limităm doar la prima ei componentă h[S] și nu luăm în considerare a doua a El a numit această componentă entropie diferențială și a definit-o ca h[S] = - JP(s)logrP(s) Zs ( , ) Utilizarea entropiei diferenţiale deschide posibilitatea unei estimări cantitative relative a incertitudinii medii a spaţiilor eşantionului pentru ansambluri continue, dar nu înlătură problema în ansamblu Acest lucru a fost remarcat și de K Shannon Rezolvarea acestei probleme, aparent, va necesita noi abordări, unul dintre fundamentele cărora va fi neapărat conceptul de "informații reciproce medii" Informații reciproce medii pentru ansambluri discrete Informații reciproce și informații proprii condiționate Informațiile de sine conținute în mesaj sunt în mod evident doar o funcție a ansamblului sursă Poate fi interpretat fie ca incertitudine a priori a mesajului, fie ca informații solicitate pentru a rezolva această incertitudine Aparenta simplitate a determinării informațiilor intrinseci ( ), care necesită un singur ansamblu separat, a indus la un moment dat în eroare pe mulți oameni de știință Ca urmare a acestui fapt, încercările repetate făcute în literatură de a interpreta euristic propriile informații folosind un ansamblu individual au dus la multă confuzie În special, pornind de la un ansamblu separat, este greu de înțeles de ce informația și incertitudinea nu ar trebui să fie invers legate, ci ar trebui să fie două vederi diferite ale aceluiași fenomen S-a dovedit că o înțelegere intuitivă a propriei informații este practic imposibilă în ceea ce privește un singur ansamblu Acest lucru se manifestă în mod clar în lumina sarcinilor telecomunicațiilor Fie ca informatia proprie a mesajelor generate de sursa sa fie determinata de ansamblul U al sursei cu alfabetul A={a a£} Informațiile proprii ale mesajelor care ajung la destinatar sunt reprezentate de ansamblul V al destinatarului de informații cu alfabetul B={bl , bN} Să fie considerate literele drept mesaje, adică Ui= y;aJ P\ ak) p(at)p(bJ) p(bj) Definirea informațiilor reciproce, precum și a altor concepte folosite pentru a descrie procesul de transmitere în limbajul informațional, este imposibilă fără utilizarea unui ansamblu UV comun Se obișnuiește să se numească un ansamblu comun UV un ansamblu definit prin: - un spațiu de probă comun care combină spațiile de probă ale ansamblurilor individuale (U și V) care alcătuiesc ansamblul comun; - o măsură de probabilitate caracterizată prin distribuția probabilității p(dkfy) pe spațiul eșantionar comun Informații reciproce medii și entropie condiționată După cum se poate observa din ( ), informația reciprocă este o variabilă aleatorie, adică o funcție numerică aleatorie a elementelor spațiului eșantion al ansamblului comun UV Aceasta este o întâmplare destul de neobișnuită rang, deoarece valoarea sa depinde de măsura probabilității, dar poate fi tratată în același mod ca și cu orice altă variabilă aleatoare În special, informația reciprocă are așteptările matematice, varianța și momentele toate comenzile Informația medie reciprocă se numește așteptare matematică informatii reciproce: i[u;V]= A=I = /c=I = ( - ) Trebuie remarcat faptul că informația reciprocă medie este o funcție doar a ansamblului UV, în timp ce informația reciprocă, care este o variabilă aleatorie, este o funcție a rezultatelor parțiale a% și bj Informația proprie condiționată este, de asemenea, o funcție a ansamblului comun UV și are o așteptare care se numește entropie condiționată și se notează ca H[U/V] = £ £ p(a^ ) J[at /bj] = - /bj) ( , ) *= = *= = Luând în considerare ( ), expresia ( ) pentru informația medie reciprocă ia următoarea formă: I[U;V]=H[U] - H[U/V] ( , ) Această egalitate arată că cantitatea medie de informație reciprocă I[U;V] poate fi interpretată ca incertitudinea medie a rezultatului ansamblului U, care este eliminată după observarea rezultatului ansamblului V În acest caz, H[U /V] este incertitudinea medie rămasă U după observarea V Pe de altă parte, ținând cont de dubla semnificație pe care o dobândește entropia în procesul de comunicare, expresia pentru informația medie reciprocă poate fi reprezentată ca I[U; V] = I[U] - I[U/V] Acest lucru ne permite să o interpretăm ca informația medie despre elementele ansamblului U din elementele ansamblului V În acest caz, condiționalul mediu i[u/v] = y informația I[U/V] este interpretată ca cantitatea medie de informație care lipsește în elementele ansamblului V pentru o reprezentare completă a elementelor ansamblului U: LNLN p{akb}b\akb}} = - £= = £= = Identitatea expresiilor pentru I[U;V] și H[U/V] arată legitimitatea atât a primei, cât și a celei de-a doua opțiuni de interpretare a informației reciproce medii Un număr de relații pot fi obținute dacă considerăm spațiul eșantion al ansamblului comun UV ca un spațiu ale cărui elemente sunt perechile ax și bj Autoinformația perechii și bj este J["A]= los/'(aA) • Deoarece p[akbj} = p[ak^p{bj /a^ = p[bp{ak /b, obținem = = + ( , ) Informațiile reciproce pot fi exprimate în felul următor Să definim din ( ) o expresie pentru informația proprie condiționată / y] și înlocuiți-l în ( ), în urma căruia obținem J[a^] = J[aJ + J[Z>JJ[akbj] ( , ) Făcând media expresiilor ( ) și ( ), peste ansamblul comun UV găsim H[UV] = H[U] + H[V/U] = H[V] + H[U/V], ( , ) I[U; V] = H[U] + H[V] - H[UV] ( , ) Expresiile ( ) și ( ) implică un concept atât de important al teoriei informațiilor ca "entropia comună" Entropia comună H[UV] caracterizează incertitudinea medie a spațiului eșantion al ansamblului comun U V O analiză a expresiei ( ) arată că ansamblurile comune, spre deosebire de ansamblurile individuale, au deja o relație inversă între concepte "cantitatea medie de informație" și "entropie": o creștere a entropiei comune duce la o scădere a informației medii reciproce și invers Informații reciproce condiționale medii Fie simbolurile (literele) U UN să fie rezultatele ansamblului comun Ui Un Să determinăm din ( ) informația condițională reciprocă dintre u și u cu condiția ca u să fie specificat = log j[Wi/Wj] - J[wj/w ,w ] p\uh/u \ ( , ) Atunci informația condițională medie reciprocă este determinată din ( ) ca (L ) W w w \u d shch ^ z ] - n [ l ^ l ] Informația condițională reciprocă este o parte a informațiilor reciproce despre un anumit rezultat ui conținut într-o pereche de rezultate u și Teorema Fie ii, u , u rezultatele ansamblului comun P P P , apoi cantitatea medie de informație a rezultatelor ansamblului Li, în rezultatele ansamblului P P I[U ;U U ] = I[U, ;U ] + I[U, ;U /U ] Dovada În mod logic, putem presupune că informația reciprocă J[w ;w w ] va fi egală cu informațiile despre ui conținute în u , combinat cu informațiile despre ui conținute în u , cu condiția ca u să fie dat, L ""uі + LCH;", / " \u d l" g^ ov * "fC> P^) PWU ) \u d jurnal DI ; M I ] , P(" ) Făcând media ( , ) asupra ansamblului comun, obținem I[LH;P L ] = I[Hj;L ] + I[Hj;L /L ] Q E D Din teoremă, luând în considerare ( ) și ( ) aplicate telecomunicațiilor ar trebui să I[U ;U U ] = H[U ]-H[U /U ] + H[U /U ]-H[U /U U ] = ( , ) = H[U ] - H[Uj/U U ] = I[U ] - I[U/U U ] În ( ), informația condițională medie I[Ui/U U ] caracterizează cantitatea medie de informație care lipsește în elementele ansamblului U U pentru o reprezentare completă a elementelor ansamblului Ui Proprietăți ale informațiilor reciproce medii Să începem definirea principalelor proprietăți ale informațiilor reciproce cu teorema [ ] • Teorema Fie X un ansamblu cu un spațiu eșantion de K elemente, atunci H[X] ,z ^ , În z = z - ; z> , z = l, log z = (log e) În z Să arătăm validitatea inegalității derivate din ( ) H[X] - log/: Semnul egal apare dacă și numai dacă X și Y sunt statistic schiurile sunt independente Dovada Să arătăm că -I[X;Y] (x,y)ln X y -I[X;Y] , atunci f)X x(xY) X y xx) xx/y) = l°g e ^^p(x)xy) - LL^(xy) -°- xy xv Inegalitatea se transformă în egalitate în cazul în care XxY) = Xx) p (y) ? adică k unde X și Y sunt independenți statistic O consecință imediată a acestei proprietăți și egalitate ( ) este inegalitate H[X] > H[X/Y]H[X] >H[X/Y] Proprietatea Informația condițională reciprocă medie este întotdeauna nenegativă Astfel, pentru un ansamblu comun discret XYZ, există întotdeauna inegalitatea I[X; Y/Z] > Semnul egal are loc dacă și numai dacă pentru fiecare dat nom z ansamblurile X și Y sunt independente statistic, adică atunci când suveranitate Xxy/z)=p(x/z)p(y/z) ( - ) Dovada Proprietatea poate fi demonstrată în mod similar cu proprietatea , dacă toate probabilitățile sunt înlocuite cu unele condiționate pentru un z dat Proprietatea implică inegalitatea H[X/Z] > H[X/ZY] ( , ) Semnul egal va fi dacă și numai dacă ( ) este adevărată Proprietatea , Informația reciprocă medie este întotdeauna mai mare decât informația condițională reciprocă medie Pentru un ansamblu comun discret XYZ, inegalitățile sunt valabile întotdeauna I[X;YZ] > I[X;Y/Z], ( , ) I[X;YZ] > I[X;Z/Y] ( , ) Demonstrație Aplicând egalitatea ( ) ansamblului comun XYZ, obținem I[X; YZ] = I[X; Y] + I[X;Z/Y], I[X;YZ] = I[X;Z] + I[X;Y/Z] Pe baza proprietății , egalitățile obținute implică valabilitatea inegalităților ( ) și ( ) Informații reciproce medii pentru ansambluri continue Spre deosebire de ansamblurile discrete, măsura probabilității pentru ansamblurile continue se bazează pe funcția de distribuție Deci, pentru un ansamblu continuu X cu un spațiu eșantion reprezentat de o variabilă aleatorie x, acesta este F(xJ = /?(x w/+l), condiția p(up uL) =p(uj+l uJ+ uj+L) este satisfăcută ( , ) Expresia ( ) înseamnă că probabilitatea ca sursa să producă șirul ul=(wi ul) pe intervalul de la la £ este egală cu probabilitatea ca exact aceeași secvență să fie produsă pe intervalul de la y+ la j+L Astfel, deplasarea unei secvențe cu j nu schimbă probabilitatea acesteia O sursă staționară discretă este considerată periodică dacă ( ) este valabilă numai pentru y care sunt multipli ai unui număr întreg m > Cea mai mică valoare a lui τ care îndeplinește această condiție se numește perioadă Dacă luăm în considerare blocurile de litere ale unei surse periodice cu punctul tt ca niște "super-litere" ale unui alfabet mai mare, atunci și secvența acestor "super-litere" va fi de asemenea staționară Ergodic este o sursă staționară discretă care are proprietatea ergodicității Ergodicitatea înseamnă că regularitățile statistice obținute în studiul unui mesaj suficient de lung (ul=(mi n ul) pentru Z^oo), cu o probabilitate apropiată de unu, sunt valabile pentru toate mesajele generate de sursă Simplificată, această proprietate este definită astfel: media în timp este egală cu media ansamblului Este în general acceptat că toate sursele discrete reale au o așa-numită memorie O sursă discretă cu memorie presupune dependența probabilității apariției următoarei litere de toate literele formate anterior Dacă această dependență se extinde doar la un număr limitat de litere anterioare, atunci sursa este considerată markoviană Sursele care nu au această dependență sunt definite ca surse discrete precizii fara memorie Astfel de surse sunt adesea denumite surse Bernoulli Ipotezele staționarității, ergodicității și caracterului markovian simplifică foarte mult descrierea surselor reale discrete Cu toate acestea, prețul acestei simplificări este o creștere obligatorie a pierderilor în acuratețea reprezentării acestor surse Cea mai simplă este reprezentarea surselor ca surse discrete fără memorie Este atractiv prin faptul că permite obținerea de soluții vizuale și ușor de înțeles la majoritatea problemelor de teoria informației Totuși, eventualele pierderi tangibile în acuratețea unei astfel de reprezentări a surselor reale dau naștere adesea la riscul ca aceste soluții să rămână subiectul teoriei, foarte departe de aplicațiile practice Principala informație caracteristică reprezentării surselor atât discrete, cât și continue este entropia Pentru sursele discrete, aceasta este entropia pe literă (mesaj) a sursei; pentru sursele continue, aceasta este entropia diferenţială (relativă) Entropia surselor discrete Surse discrete fără memorie Pentru o sursă U fără memorie, probabilitatea unei secvențe ul=(z/i ul) de L litere ale sursei este egală cu produsul probabilităților literelor individuale: L Xii)=P/'(u;) =\ În această egalitate, fiecare literă uL este aleasă din alfabetul A = (ax am^) Exemplu Dacă sursa are un alfabet de două litere ai și a cu probabilități p(ii)= , și p(a )= , , atunci probabilitatea secvenței de la=(u, w , from) cu u\=ab și i =a \, u \u d a\ este egal cu , - , - , \u d , Informația proprie a secvenței u are forma i LL ( , ) J[u£] = -logp(uz) = -logfJp("/) = X lo^(M/) = ZJ[M/l- Z= Z= Z= Fiecare litera u în acest caz reprezintă un eșantion independent statistic pentru aceeași sursă U Prin urmare, ( ) afirmă că J[ul] este suma L variabile aleatoare independente distribuite identic Deoarece media fiecăreia dintre variabilele aleatoare J[ul] este entropia sursei H[U], din legea numerelor mari rezultă că dacă L este mare, atunci J[uJ/£ = HL(U) va să fie aproape de H[ U], adică Hz(U) = J[u£]/Z"H(U), ( , ) unde HL(U) este entropia empirică a unei secvențe de litere sursă de lungime L pe literă Din expresia ( ) avem -log /?(u£) ~ ZH [U] sau Din egalitatea ( ) probabilitatea oricărei secvențe sursă tipică suficient de lungă de lungime L este într-un anumit sens aproximativ egală cu MT " ІNI ( , ) Dacă doriți să potriviți cuvintele de cod binare cu toate aceste -l tipice secvențe și există secvențe binare diferite, atunci N ar trebui să fie aproximativ egal cu ZH[U] Considerațiile euristice de mai sus oferă trei interpretări diferite ale entropiei sursei: ) utilizarea probabilității secvențelor sursă tipice; ) utilizarea numărului de secvențe sursă tipice; ) utilizarea numărului de caractere binare necesare pentru a reprezenta secvențele sursă tipice Aceste euristici sunt foarte utile pentru a obține o imagine simplă a comportamentului surselor și sunt ușor de generalizat la sursele în care există o relație statistică între secvențele de litere, de ex pentru sursele de memorie Cu toate acestea, pentru a dezvolta aceste idei, este necesar să se rafinească aproximările disponibile în ( )-( ) După cum se arată, J[ul] este suma L variabilelor aleatoare independente distribuite identic J[wJ, fiecare dintre ele având o medie finită H[U] Apoi, din legea numerelor mari rezultă că, pentru orice g > , există ^(t, ) > astfel încât ( , ) lim^(Z, ) = ( , ) Aceasta înseamnă că probabilitatea ca media eșantionului J[u]/t să difere de H[U] cu mai mult decât o valoare fixă arbitrară g și tinde spre zero pe măsură ce crește L Rezultă că pentru secvențele aparținând mulțimii St de secvențe tipice u pentru fix și £, inegalitatea va fi valabilă , G Srp ( , ) Apoi din ( ) pentru u St obținem />(ST)>le(Z, ) ( P) Transformând ( ), putem obține inegalități care rafinează aproximarea din ( ) și ( ): i(n [u] - ) H[X/YZ] și ținând cont de staționaritatea sursei, semi chim: n[u£/u u£ ] oo n£+A u]=n [U, im ]+-A (n [Uz/Ur "u, , ]+n [uz+ /u u, ]+ +Htu^/u^ u^]) oo ■"J £->oo Din egalitatea rezultată rezultă unicitatea (în ceea ce privește obținerea rezultatului final) a primei și a doua abordări pentru determinarea entropiei sursă raţională discretă Surse staţionare ergodice Unele surse staţionare pot avea proprietatea de ergodicitate Pentru a defini mai precis această proprietate, să presupunem că u= r/ ; uqu+i este o succesiune infinită de litere sursă Fie T • u = u* să desemneze o secvență w deplasată în timp de pozițiile I, adică un*=un+i pentru -oo și s> arbitrare există un număr întreg n (s,b), care depinde de sursă, astfel încât pentru toate L>(s,S) inegalitate ( , ) La derivarea acestei teoreme au fost introduse o serie de notații și dependențe, care au jucat un rol semnificativ în dezvoltarea ulterioară a teoriei formatiuni În primul rând, se observă că ( , ) Partea dreaptă din ( ) este foarte asemănătoare cu media temporală dată de ( ) Diferența în acest caz este că fiecare termen din ( ), care este propria sa informație, depinde de un număr diferit de litere sursă anterioare De remarcat este introducerea măsurătorii de probabilitate o (și ) a sursei, luând în considerare dependențele statistice numai de m ( Z-m+ ( , ) unde p(um) este probabilitatea ca o secvență de m litere să facă parte dintr-o secvență de L litere din sursă Expresia ( ) este o aproximare a măsurării probabilității sursei, care este caracterizată de condiția de normalizare (u£) = Introducerea conceptului de Qm(uL) a făcut posibilă determinarea a proprietăți importante care caracterizează care analizează entropia unei surse ergodice staționare discrete și determină validitatea ( ) Proprietatea Pentru o sursă ergodică staționară discretă cu H[U] limllogQ"(uz) = -H[Um+ /U" U ] cu o probabilitate egală cu Proprietatea Pentru o sursă ergodică staționară discretă cu H[U] și > , pentru m suficient de mare și orice L>m sau ( , ) [u]+r "v( N L'Q l\lJ j Proprietățile de mai sus ne permit să obținem o demonstrație destul de simplă a teoremei lui Macmillan Dovada Dacă setăm e> și > și alegem m suficient de mare astfel încât partea dreaptă a ( ) să fie mai mică decât pentru toate L>m și H[Um+ /Um U ]-Hoo[U] m suficient de mare încât pentru toate L>Lo avem inegalitatea -log Q^uj + H^/U^-Uj L ( , ) Acest lucru este posibil datorită proprietății Apoi din inegalități ( ) ( ) pentru L>L avem: / r(u£) + Nu[u] Inegalitatea rezultată poate primi o interpretare destul de simplă Dacă nu are loc nici evenimentul din partea stângă a ( ) și nici evenimentul din partea stângă a ( ), atunci evenimentul din ( ) nu poate avea loc În consecință, probabilitatea unui eveniment din ( ) nu va fi mai mare decât suma probabilităților evenimentelor din ( ) și ( ) În plus, deoarece e > și > sunt arbitrare, inegalitatea ( ) este echivalentă cu ( ), ceea ce demonstrează teorema Macmillan pentru surse ergodice staţionare discrete Pe baza celor de mai sus, entropia unei surse staționare U în cele ce urmează este valoarea H[U] = limH[UI/U Uz ] O sursă staționară U se numește sursă fără memorie (sursa Bernoulli) dacă /?(U£/U Uz j) = /?(U£) pentru toate momentele inițiale j Cu alte cuvinte, U este o sursă Bernoulli dacă probabilitatea apariției unei litere nu depinde nici de locul ei în succesiune, nici de literele anterioare surse Markov O sursă staționară de informație este considerată a fi o markoviană de ordinul al i-lea dacă, pentru r sy=(ayl ayJ O sursă Markov se numește ergodică dacă probabilitatea de a trece printr-un număr arbitrar (mai mare decât un număr fix m) de pași de la fiecare stare sz la o stare arbitrară s este mai mare decât zero Dacă pentru o sursă Markov ergodică cu K stări sunt cunoscute doar probabilitățile de tranziție de la o stare la alta, atunci probabilitățile pentru stări pot fi obținute din sistemul de ecuații: La ( , ) J- Exemplu Fie U o sursă Markov de ordinul întâi cu alfabetul A = și probabilitatea p(ai/aj) de apariție a literei sunt definite în matricea Q={^}, unde pentru acest caz q^piaj/aj) Atunci probabilitățile p(ar) pot fi calculate din ecuația Qp=p, unde p = (p(ai) p(ati))^ ținând cont că £p(a() = r= Astfel, pentru a reprezenta o sursă Markov, este necesar să se definească: a) alfabet sursă А=(а/ аті); b) mulţimea stărilor sale S=(si, ,Sj ; c) matricea Q={qij} a probabilităților condiționate ale literelor alfabetului; d) matricea probabilităţilor de tranziţie de la o stare la alta /?(Sf/s ); e) mulțime de probabilități de litere în fiecare dintre stările pțajs,) p(amJs ), \ , atunci se numește periodică Dacă m= , atunci mulțimea se numește ergodică Mulțimea ergodică de stări Se are asociată o mulțime de probabilități staționare q(f), dată ca soluție a ecuațiilor: Z ? C /) Q "=" (O>'e se> ( - > j^E ( , ) J^E Mai mult, pentru orice i și J din SE: lim =q(i), ( ) Z->oo / \ / unde convergența limitei este exponențială în I Se poate observa că probabilitățile din ( ) - ( ) nu descriu pe deplin sursa Markov De asemenea, trebuie să știți când sursa începe să funcționeze și care este distribuția de probabilitate inițială pentru stări Dacă sursa aparține unui set ergodic de stări, pornind de la un trecut arbitrar îndepărtat, atunci p(sf=i)=q(i) pentru tot I și sursa este staționară și ergodică (conform definițiilor de mai sus) Să studiem entropia unei surse ergodice Markov din aceste poziții Entropia literei de ieșire a unei surse Markov la un moment dat, cu condiția ca starea curentă a sursei să fie dată, este egală cu G , / M / X ( , ) H[U/s = y]=-£p,(a*)logp,(aJ £= Având în vedere acest lucru, entropia ieșirii sursei, cu condiția ca o anumită stare și un moment din trecut să fie date și să fie date ieșirile intermediare ale sursei, este definită ca H [CD D , D, S = j ] = X p {s, = i I s, = J) H [U / s = f] = Orice distribuție de probabilitate dată pentru o stare determină distribuția de probabilitate a stărilor în toate momentele viitoare, deci putem face media ( , ) peste / și obținem H[U/UZ U, ,U S ] = = н[u/S, = i] , /= unde Si este mulțimea stărilor inițiale Pentru o sursă staționară ergodică Markov p(s\=i) nu depinde de Z și este egală cu q(i), atunci pentru tot l > avem H[uz/uz u, u s ]=X g(i) H[u/ =i] Entropia pe literă a secvenței de litere sursă, cu condiția ca starea inițială să fie dată, este egală cu h[U U£/S ] = u/T-r-id] L b /= Prin urmare, conform ( ), avem |h[u u£/s ] =S? ,z( h [u/j=j], LJ= Unde L ^,i^)=ylLp(si=iy LZ= ( , ) Evident, q\j(i) este exact egal cu probabilitatea medie în timp de a fi în starea i Pentru o sursă staționară ergodică Markov qi,i(i) = q(i) și deci |h[U U£/SJ =X? (i)H[U/s = f], b,= In limita ca L -* oo avem /l g IV G L ( - ) LZ= Această limită există întotdeauna, deși, în general, depinde de distribuția de probabilitate pentru si Această diferență devine clară din fig , când s/ este dat ca starea cu probabilitatea sau ca starea cu probabilitatea Totuși, pentru un lanț Markov care are doar un set de stări indecompunebile, (s)logP(s) A Coeficientul X este ales astfel încât aria figurii delimitată de jos de axa / și de sus de linia dreaptă G \u d k (în regiunea A / *) să fie egală cu s (Fig ) Orez Spectrul de energie versus frecvență Când se calculează epsilon-entropia unui ansamblu S al cărui spațiu eșantion este format din variabile aleatoare, când abaterea lui S de la Z este dată ca așteptare matematică a funcției diferenței lor V=SZ, adică p(S,Z) = M|j?(V) ], relația este valabilă: h[S/Z] = h[V/Z] H[U;/Ui lJ/- ]] dă motive să credem că dependența statistică dintre litere a sursei duce la o creştere a redundanţei acesteia Rezumând raționamentul de mai sus, putem concluziona că redundanța surselor discrete se caracterizează prin: - probabilitatea neuniformă de formare a literelor sursă (surse discrete fără memorie); - dependenţa statistică între literele sursei Exemplu Capacitatea informațională a sursei care formează textul limbii ruse, Hmax[U]=log = biți/simbol Fără a ține cont de dependența statistică dintre literele alfabetului, entropia textului sursă H[U]= , biți/caracter Aceasta înseamnă că o scrisoare sursă conține, în medie, , biți de informații Redundanța sursei în acest caz, bazată pe ( ), este egală cu Wb= , biți/simbol Când luăm în considerare combinațiile de trei litere, entropia sursei devine egală cu Н [U^/U^ aU l i]= biți/simbol și lățimea de bandă corespunzătoare Vpz[i]= biți/simbol Dacă luăm în considerare combinațiile de opt litere, atunci H[Ul/Ul Ul Ul i]= , biți/simbol și Bn [U]= , biți/simbol Exemplul de mai sus arată că redundanța poate fi interpretată ca o caracteristică care reflectă cât de ineficientă este cutare sau cutare sursă discretă în ceea ce privește încărcarea de informații pe un simbol (litera) Coeficientul de redundanță este de obicei folosit ca parametru al acestei caracteristici: I n-M-"M SIȘL K", " [și] n [și] unde Ki - este definit ca coeficient de optimitate Coeficientul de redundanță arată ce proporție din capacitatea de informare posibilă pe literă a alfabetului nu este utilizată de alfabet Deoarece q este o mărime adimensională, este de obicei măsurată ca procent Deci, pentru textul în limba engleză, factorul de redundanță este de %, iar pentru textul rusesc - % În plus, atunci când se evaluează redundanța unei surse discrete a unei anumite limbi, poate fi utilizat coeficientul de stocasticitate (variabilitate) N[u] ( , ) = H [U]-H[U]' care caracterizează conexiunile probabilistice (variabile) apărute ca urmare a dezvoltării evolutive a unei anumite limbi S-a stabilit că, în funcție de specificul schimbului de informații, valorile acestui parametru pot fluctua în raport cu o anumită valoare optimă a GOnr Pentru limbile europene GOnr= , Totodată, pentru informații cu caracter de serviciu și instrucțiuni G>GOin pentru textele literare G X , și codul de secvență u, sau cuvântul de cod Xi as x(=/(u() ( )) Se spune că o codificare f este decodabilă în mod unic dacă o secvență arbitrară de cuvinte de cod /(u-uy uJt) scrise împreună este împărțită în mod unic în cuvinte de cod, adică /(uJ-uy uJt) = / (uf )/(u ) /(u^) Definiția de mai sus ne permite să distingem următoarele tipuri de codare sursă: • codificare de tip VB, care atribuie cuvinte sursă uz de lungime diferită D unor cuvinte cod xr de aceeaşi lungime n= rc=const; • Codare de tip BV care se potrivește cu cuvintele sursă și de aceeași lungime Az=L=const x cuvinte cod de lungime diferită • codificare de tip W, care este cuvântul sursă și lungime variabilă Li mapează cuvintele de cod x lungime variabilă • Codare de tip BB care atribuie cuvintelor sursă u de aceeaşi lungime L cuvintelor codificate x de aceeaşi lungime n eu Codurile utilizate în codificarea de tip VB și BB se numesc coduri de lungime fixă, iar în codificarea de tip BV și VV se numesc coduri neuniforme Tipificarea codurilor într-un anumit sens face posibilă caracterizarea a priori a procesului de codificare în ceea ce privește transformarea formelor logice de informații pentru un cod specific, ceea ce este deosebit de important în aplicațiile practice ale problemelor de codificare Totuși, nu este suficient, deoarece lasă incertitudinea formelor logice ale informațiilor sursă (mesajelor), care secara sunt codificate Această problemă este în mare măsură rezolvată prin introducerea unor tipuri de codare, care sunt denumite în mod obișnuit ca: • codificare literă cu literă, care constă în transformarea directă a literelor sursei de informaţie în combinaţii de coduri cu certitudinea a priori a caracteristicilor informaţionale ale sursei; • codare bloc și non-bloc, care constă în transformarea directă a combinațiilor de litere sursă (mesaje, cuvinte) în combinații de cod (secvențe de cod) cu certitudinea a priori a informațiilor ha caracteristica sursei; • codificare universală, oferind a priori incertitudinea caracteristicilor informaţionale ale sursei Codarea bloc include tipurile de codare BB și BV și non- bloc - tipuri de codificare VB și W Sarcinile principale ale codificării unei surse discrete sunt: compresia informațiilor (codare eficientă) și protecția informațiilor (criptare sau codificare) În cazul general, conform conceptului acceptat, aceste sarcini ar trebui rezolvate într-un complex Totuși, din punct de vedere metodologic, este indicat să le luăm în considerare separat Prin urmare, problemele securității informațiilor la codificarea sursei vor fi discutate separat Codarea sursă este considerată eficientă dacă oferă o creștere a încărcării medii de informații per cuvânt de cod (simbol dicționar de cod) în comparație cu încărcarea medie de informații per mesaj (litera) a sursei Această definiție permite două interpretări ale problemei codificării sursei eficiente În primul rând, poate fi luat în considerare ca oferind o mapare completă ( ) cu o lungime minimă a codului f cuvinte, adică f: U f >X În al doilea rând, cum să asigurăm medii maxime cantitatea sa de informații reciproce lmax[U;X], care poate fi realizată prin reducerea redundanței Având în vedere acest lucru, strategia pentru o cooperare eficientă moartea sursă include: - asigurarea lungimilor minime de cuvinte cod care permit reprezentarea informaţiei sursă fără pierderi; - reducerea redundanței informațiilor sursă în procesul de codificare Baza teoretică a metodologiei de implementare a acestei strategii o constituie teoremele de codificare sursă Teoreme de codificare pentru surse discrete fără memorie La codificarea surselor discrete, sarcina generală este de a converti mesajele sub formă de combinații de litere ale alfabetului (cuvinte) sursă în combinații de cod (cuvinte de cod) ale unui cod dat, formate din literele alfabetului codului dat Dacă numărul de simboluri de cod din cuvintele de cod este constant, atunci astfel de coduri se numesc uniforme sau coduri cu o lungime fixă Codurile în care diferite cuvinte de cod conțin un număr diferit de simboluri de cod sunt numite neuniforme Cu o astfel de formulare a problemei, principalul criteriu pentru soluția optimă a acesteia este pierderea cantității de informații în timpul codificării Se consideră că codificarea sursă optimă oferă numărul minim posibil de litere de cod pe literă sursă, în care nu există nicio pierdere de informații Teoremele care definesc o astfel de codificare sunt derivate separat pentru codurile cu lungime fixă și pentru codurile neuniforme Coduri de lungime fixă În cazul utilizării codurilor cu lungime fixă, problema codificării sursei este formulată după cum urmează Fie ca o sursă discretă să formeze secvențe (cuvinte) și din literele L: i =(u,u , ,uIIb) Fiecare literă a acestei secvențe este selectată din alfabetul А=(аІ а) literele sursei În timpul procesului de codificare, această secvență este convertită într-o secvență de cod x =(хп хіп) fix de lungime fixă n = N litere alese din alfabetul D=(t e W ) al codului dat Este necesar să se determine valoarea minimă a lui n la care nu va exista pierdere de informații Pentru o sursă discretă fără memorie, numărul de cuvinte posibile de litere L este definit ca ML=mlL Numărul de secvențe de cod posibile de n = N caractere cu caractere independente ale alfabetului de cod va fi egal cu M " = t" Este destul de clar că, pentru a asigura o decodificare fără ambiguitate, condiția Mn > ML sau irf Luând logaritmul părților stânga și dreaptă, obținem N > log m, ( , ) Llogm Din ( ) rezultă că pentru codurile cu lungime fixă, ori de câte ori este necesară decodarea unei secvențe sursă dintr-un cuvânt de cod, este necesar să existe cel puțin litere de cod log/log m per literă sursă Rețineți că logm corespunde entropiei sursei maxime (Hmax [U] = log ) atunci când toate literele sunt reciproc independente și la fel de probabile Ținând cont de acest lucru și pe baza conceptului obținut anterior al entropiei surselor discrete fără memorie ( ), inegalitatea ( ), ținând cont de faptul că H£[U] Hz[u] H[U]+ ( , ) L logm logw? unde W[u] este entropia unei secvențe de litere sursă de lungime L pe literă, pentru L suficient de mare În ( ), parametrul caracterizează eroarea în determinarea entropiei sursei atunci când în acest scop sunt utilizate secvențe de lungime finită L Entropia, așa cum sa menționat deja, este numită empirică (pe baza experienței) Din ( ) rezultă că, atunci când inegalitatea ( ) este satisfăcută, numărul total de cuvinte de cod u" va fi mai mare sau egal cu numărul de secvențe sursă tipice Mj de lungime L Cerința pentru unicitatea decodării implică faptul că fiecare sursă secvența trebuie să corespundă unui singur cuvânt de cod Rezultă că întregul set de cuvinte de cod posibile poate fi împărțit în: a) un subset de cuvinte de cod care corespund în mod unic secvențelor sursă (un astfel de subset este adesea definit ca fiind permis)'^ b) un subset de cuvinte cod care nu corespund nici unei secvențe de cod sursă (subset nepermis) Formarea subsetului permis de cuvinte de cod este determinată de codul utilizat Procesul de codificare cu această reprezentare este considerat ca o transformare a elementelor setului de secvențe sursă de lungime L în elementele corespunzătoare ale subsetului permis de cuvinte de cod În acest caz, probabilitatea unei situații în care secvența sursă va fi corelată cu un cuvânt cod dintr-un subset nerezolvat este definită ca probabilitatea de eroare pe Vizual, procesul de codificare sursă poate fi reprezentat sub forma (Fig ) a transformării (I) a elementelor câmpului secvenţelor tipice şi sursă în elementele corespunzătoare ale părții permise din câmpul cuvintelor cod x , adică i=j În acest caz, orice transformare probabilă (II) în elemente ale părții nerezolvate a câmpului cuvintelor de cod se referă la o eroare, care poate fi cu o probabilitate de pe Câmp secvență sursă de lungime £ Câmp de cod de lungime / Parte permisă Parte neautorizată Orez O reprezentare vizuală a procesului de codificare a unei surse cu coduri lungime fixă Această reprezentare este destul de convenabilă pentru înțelegerea procesului de codificare în sine ca întreg Totuși, după cum este ușor de observat, este în mare măsură aproximativă, deoarece condiția і Ф j poate corespunde și situației în care secvența sursă va fi transformată într-un cuvânt cod corespunzător unei alte secvențe sursă Această problemă poate fi rezolvată prin abordarea considerată mai devreme, care reprezintă secvențe sursă de lungime L suficient de mare ca un set de așa-numite secvențe tipice Folosind inegalitatea ( ) pentru probabilitatea multimii acestor secvente, putem obtine o expresie care determina probabilitatea de eroare /?e O analiză a probabilității de eroare va fi incompletă dacă nu luăm în considerare cazul în care inegalitatea ( ) nu este satisfăcută, adică atunci când A oo, atunci pe tinde spre pentru orice g > Rezultatele obţinute conduc la următoarea teoremă fundamentală Teorema Teorema uniformă de codificare a sursei Fie ca o sursă discretă fără memorie să aibă o entropie finită H(U) Când se codifică secvențe sursă de L litere, fiecare secvență poate fi asociată cu o singură secvență de N litere ale alfabetului cod D Fie pe probabilitatea apariției unei secvențe sursă căreia nu este asociată nicio secvență de cod Atunci, dacă pentru unele § > Llogwtj atunci Pe poate fi făcut arbitrar mic alegând L suficient de mare și Pe devine în mod arbitrar aproape de pentru L mare dacă ^ pc satisfac- accepta inegalitatea *= atunci există un cod cu proprietatea prefix, cu un alfabet de mărimea n , în care lungimea cuvintelor cod este egală cu aceste numere Dimpotrivă, lungimile cuvintelor de cod ale oricărui cod care are proprietatea prefixului satisfac inegalitatea ( ) Întrebare Din teoremă rezultă că orice cod cu lungimi de cuvinte de cod care satisface ( ) este prefix? În nici un caz De exemplu, setul de cuvinte cod binar , , satisface ( ), dar nu are proprietatea de prefix Teorema spune doar că există un cod prefix cu astfel de lungimi, de exemplu , , Teorema teorema lui Macmillan Să fie dat un cod cu lungimi de cuvinte de cod ca nx pk, cu un alfabet de cod de n simboluri Dacă codul este decodabil unic, inegalitatea lui Kraft ( ) este satisfăcută Această teoremă privind lungimile cuvintelor de cod pentru codurile unic decodabile arată relația dintre proprietățile prefixului și decodabilitatea fără ambiguitate Ținând cont de teoremele de mai sus, putem formula teoreme pentru codificarea literelor (prima teoremă) și a cuvintelor (a doua teoremă) unei surse cu coduri neuniforme Teorema Teorema codificării neuniforme a literelor sursă Având în vedere un ansamblu sursă finit U cu entropie H(U) și un alfabet cod de simboluri W , se pot atribui cuvinte de cod literelor sursă în așa fel încât proprietatea prefixului va fi satisfăcută și lungimea medie a cuvântului de cod va satisface condiția - N(C) ( - ) n ("t)log Jt=l ^ Folosind binecunoscuta inegalitate logz , obținem: W -nt ml H[U] - și log m Pentru a aproxima logm z n la , poate fi necesar să se ia L suficient de mare logw? Teorema Teorema de codificare pentru sursele Markov Pentru sursele staționare ergodice Markov, folosind informațiile de stare și codificând L litere sursă simultan, se poate obține n satisfăcând inegalitățile -s n oo Costul Ci(f,U) reprezintă o partiție separată peste ansamblul comun UX: C£(f,U)=y L ^uL ( , ) Pentru codificarea blocului G(f,U)=C/-(f,U) La codificarea unei surse fără memorie (sursa Bernoulli) cu alfabetul A = (^ l ) redundanța de codare ia forma R(f,U) = C(f,U) -H[U] = £>("> log + £x"() log/>(" ), = = ( , ) unde Pi este numărul de caractere din cuvântul de cod corespunzător literei Din ( ) se poate observa că costul codificării f a sursei Bernoulli corespunde valorii ( ) C(f, U) = log m I= În cazul unui alfabet de cod binar A=( , ), expresia ( ) ia forma j=l Introducerea conceptului de redundanță de codare ne permite să formulăm o teoremă de codare pentru o sursă fără memorie în interpretarea lui K Shannon Teorema Teorema de codificare a lui Shannon pentru surse fără memorie Pentru o sursă arbitrară U și un cod prefix f, redundanța de codare este nenegativă, adică R(f,U)> Mai mult, pentru fiecare sursă U există un cod prefix f cu redundanță de codare care nu depășește unu, adică R(f,U) = Din inegalitatea lui Kraft (teorema ) rezultă că ^ "^ =£xx ) = , numerele Zz satisfac inegalitatea lui Kraft În acest caz, din teorema rezultă că codificarea prefixului lui f este că Pi = ii Să estimăm redundanța acestei codări R(f,U) = £p(a() r= Xya ;) Teorema a fost demonstrată Această teoremă poate fi pur și simplu generalizată on pentru cazul surselor cu memorie În aplicațiile practice, procedura de aplicare a codurilor eficiente care oferă cea mai mică redundanță de codare se numește comprimare a informațiilor sursă Apariția acestui termen, aparent, se explică prin faptul că, din punct de vedere practic, folosirea marcajului codurile conduce la o reducere a cuvintelor de cod, care poate fi interpretată ca compresie a informațiilor la ieșirea codificatorului sursă Din punct de vedere teoretic, aceasta termenul este de asemenea justificat, deoarece utilizarea acestor coduri crește cantitatea medie de informații per simbol al unui cuvânt cod, ceea ce poate fi interpretat ca o compresie a informațiilor sursă referitoare la simbolurile reprezentând cuvintele sale cod Același raționament poate fi aplicat și în explicarea legitimității conceptului de "metodă de comprimare" a informațiilor sursă, care poate fi interpretată ca o metodă de codificare a unei surse cu un cod eficient care reduce redundanța informațiilor CU având în vedere acest lucru, metoda de compresie este determinată de codul utilizat, tipul și tipul codificare Conform tradiției stabilite, se obișnuiește să se atribuie un nume metodelor de compresie a informațiilor sursă corespunzătoare codului utilizat in orice caz aceasta nu înseamnă în niciun caz identificarea acestor concepte, care pot fi găsite adesea în descrierile aplicațiilor practice ale metodelor de comprimare a informațiilor Strategia de securitate a informațiilor la codificarea unei surse discrete Din punctul de vedere al teoriei informației, protecția criptografică a informațiilor (denumită în continuare protecția informațiilor) înseamnă transformarea mesajelor sursă într-o formă de neînțeles pentru un utilizator neautorizat, conform legii specificate de o cheie secretă Sarcina de a proteja informațiile, împreună cu sarcina de a comprima informațiile, este sarcina principală a codării sursă În special, la codificarea unei surse discrete, aceasta poate fi considerată ca o problemă de compresie a informaţiei, atunci când ansamblul combinaţiilor de coduri se modifică conform legii determinate de ansamblul cheii Combinațiile de coduri formate în acest fel se numesc criptograme Protecția informațiilor constă în transformarea mesajelor ansamblului sursă U în criptograme ale ansamblului de criptograme E conform legii specificate de ansamblul cheie K Ansamblurile U și E folosind abordări cunoscute pot fi atât discrete, cât și continue, ansamblul K - doar discret Având în vedere acest lucru, se pot distinge următoarele tipuri de protecție a informațiilor: - criptare: ansambluri U, E si K - discrete; - codificare analogică: ansambluri U și E - continuu, ansamblu K - discret; - codificare digitală: ansamblu U - continuu, ansambluri E și K - discret Conceptele de "criptare" și "scrambling" (eng, scrambled - encrypted) sunt de obicei determinate de tipul sursei de informații În același timp, criptarea înseamnă protecția informațiilor atunci când se codifică un dispozitiv discret codificare - protecția informațiilor la codificarea continuă sursă Pentru a îmbunătăți eficiența metodelor de criptare și codificare, acestea sunt de obicei utilizate în combinație cu metode de autentificare și protecție împotriva imitației În acest caz, autentificarea înseamnă determinarea adevărului identificatorilor sursei stabiliți, iar protecția împotriva imitației înseamnă protejarea împotriva introducerii neautorizate de criptograme false, care, atunci când sunt decriptate sau decriptate, vor fi percepute de către destinatarul informațiilor ca mesaje adevărate În termeni generali, protecția informațiilor la codificarea unei surse discrete este de obicei reprezentată ca un proces de conversie a mesajelor discrete în criptograme conform unei legi secrete definite de o cheie De obicei, acest proces se numește criptare (Sh), iar procesul invers de conversie a criptogramelor în mesaje se numește decriptare sau decriptare (DSh) Aici, metoda de criptare specifică este definită ca un cifr Din aceste poziții, schema generalizată de protecție a informațiilor la codificarea unei surse discrete poate fi reprezentată în forma prezentată în Fig Orez Schemă generalizată de securitate a informațiilor pentru codificarea surselor discrete Sursa de informare (IS) generează mesaje, al căror set complet este determinat de ansamblul U Ca urmare a criptării, mesajele sunt convertite în criptograme care alcătuiesc ansamblul E Legea acestei transformări Cheia ansamblului K este dată de cheile ansamblului K, care sunt formate din sursa cheii (K) În timpul decriptării, criptogramele sunt convertite înapoi în mesaje care sunt trimise destinatarului informațiilor (PI) Criptogramele pot fi accesate de un utilizator neautorizat (UA) Având în vedere acest lucru, sarcina principală a protecției informațiilor este de a cripta sursa, asigurând imposibilitatea decriptării fără ambiguitate a criptogramelor în cazul accesului neautorizat la acestea Pe baza schemei de mai sus, conceptul de criptare poate fi definit după cum urmează Fie A = (a af^), П = ( /^) și G = (£, gOT ) alfabetele ansamblurilor de mesaje, respectiv criptograme și, respectiv, chei Din literele acestor alfabete se formează șiruri finite u, e, y formând, respectiv, mulțimile de mesaje U*, criptogramele E* și cheile K* Aceste seturi definesc spații eșantion de ansambluri de mesaje U*, criptograme E* și chei K* O criptare (cifrare) este o mapare injectivă a formularului ( , ) Expresia ( ) arată că setul de criptograme este rezultatul unei mapări a două mulțimi, dintre care una (U*) este inițială, iar cealaltă (K*) este definitorie Reprezentarea conceptului de criptare în forma ( ) ne permite să înlăturăm incertitudinea semnificativă existentă în prezent în relația dintre conceptele de criptare și codare De aici rezultă că criptarea poate fi privită ca codificare cu un dicționar de coduri care se modifică conform legii cheii Cu alte cuvinte, dacă în timpul codificării convenționale cartea de coduri este determinată în mod unic de codul utilizat, atunci în timpul criptării cartea de coduri se modifică conform legii determinate de ansamblul de chei și algoritmul de generare a secvențelor de chei Acest lucru explică în mare măsură luate în aplicații practice, includerea în conceptul unei chei a unor concepte precum "date cheie" ("cheie inițială") și "cheie extinsă (de lucru)" Conceptul de date cheie corespunde spațiului eșantion al ansamblului de chei, iar conceptul de cheie extinsă corespunde măsurării probabilistice și algoritmului de generare a secvențelor de chei Pe baza acestui fapt, setul de chei poate fi considerat ca un set de seturi de date cheie (X*) și secvențe de chei (Y*) Astfel, criptarea Ф a sursei poate fi descrisă ca eu( = fxk(u;( >Y,( ), XL e x*, Y, e Y*, ( , )) unde u (z) și ew(z) sunt mesajul și criptograma corespunzătoare acestuia la etapa i-a de criptare; y?(z) - secvență de taste; x^ - date cheie Pe baza ( ), decriptarea poate fi reprezentată ca o transformare inversă a formei U; ( =Фх, (е" ( > Ur ( )> x, s X* ur e Y* ( )) Criptarea este considerată decriptabilă în mod unic dacă u (z)=u/(z), adică f;' (Fx (uy(i),y?( ), y,( ))= U/ , y/ ) = " • u( ) = h( ( , )) a condus la crearea așa-numitelor cifruri asimetrice Aceste cifruri rezolvă parțial problema remarcată, deschizând posibilitatea utilizării așa-numitelor date cheie deschise (nesecrete) în criptare Această posibilitate a servit la un moment dat drept motiv pentru concluziile oarecum pripite despre inutilitatea criptării simetrice Cu toate acestea, cercetările ulterioare în domeniul creării de cifruri asimetrice au dat peste o complexitate destul de mare a implementării lor și o performanță relativ scăzută În plus, utilizarea acestor cifruri nu înlătură cerința privind secretul datelor cheie în timpul decriptării Aparent, acest lucru explică în mare măsură faptul că în prezent criptarea simetrică este considerată principala în rezolvarea problemelor de securitate a informațiilor Dovadă în acest sens este cifrul simetric RIJNDAEL recomandat de National de către Institutul de Standarde și Tehnologie din SUA (NIST) ca standard de criptare al secolului Problema secretului datelor cheie face parte din problema generală a securității informațiilor, care este de obicei definită ca problema asigurării indescifrabilității teoretice (TNDS) Protecția informațiilor este teoretic indescifrabilă dacă accesul neautorizat la criptograme exclude teoretic posibilitatea de a obține informații despre mesajele corespunzătoare acestor criptograme Imposibilitatea implementării practice a condițiilor TNDSH în cadrul abordărilor cunoscute ale securității informațiilor a condus la introducerea conceptului de indescifrabilitate practică (PNDSH) Protecția informațiilor este considerată practic indescifrabilă dacă accesul neautorizat la criptograme permite teoretic posibilitatea obținerii de informații despre mesaje, dar în practică această posibilitate este irealizabilă În conformitate cu aceasta, indescifrabilitatea practică este adesea definită ca fiind imposibilitatea decriptării unei criptograme în așa-numitul "timp previzibil", cu condiția să se utilizeze oricare dintre cele mai avansate metode și mijloace de calcul Previzibil în acest caz este înțeles ca perioada în care informațiile protejate sunt garantate că își vor pierde valoarea Astfel, strategia de securitate a informațiilor adoptată în prezent include domenii principale: ) asigurarea indescifrabilității practice; ) îndeplinirea condiţiilor de descifrabilitate unică Principalul indicator care caracterizează eficacitatea implementării acestei strategii este stabilitatea protecției informațiilor Acesta este un indicator destul de condiționat, care poate lua doar două valori: durabilitate garantată și durabilitate temporară Securitatea garantată caracterizează o protecție practic indescifrabilă a informațiilor, ceea ce asigură imposibilitatea decriptării neautorizate a criptogramelor în viitorul apropiat Stabilitatea temporară caracterizează protecția informațiilor, în care nu sunt îndeplinite condițiile de indescifrabilitate practică Este destul de înțeles că incertitudinea timpului previzibil folosit ca principal criteriu pentru PNDS face ca gradația dată să fie foarte condiționată Ritmul în continuă creștere a dezvoltării mijloacelor și metodelor de calcul de astăzi creează o situație în care este imposibil chiar să ne imaginăm cum se vor schimba ideile noastre despre timpul previzibil mâine Una dintre modalitățile evidente de a rezolva problema remarcată este extinderea gradației rezistenței de protecție prin introducerea conceptului de rezistență absolută Securitatea absolută va caracteriza protecția informațiilor, ceea ce asigură indescifrabilitatea absolută (ANDSH) În acest caz, principalul criteriu de îndeplinire a condițiilor ANMS va fi o valoare destul de certă a timpului previzibil t = °o O astfel de modificare a gradației puterii de securitate arată posibilitatea existenței unei strategii de securitate a informațiilor mai promițătoare decât cea existentă, a cărei direcție principală este asigurarea condițiilor NDPS Să-i spunem strategia indescifrabilității absolute Până acum, această strategie, din mai multe motive, care vor fi discutate mai jos, este considerată practic irealizabilă Acest lucru explică în mare măsură atitudinea general acceptată față de acesta ca un fel de reper de neatins, care nu merită atenție în aplicațiile practice Cât de corectă este această atitudine? Pentru a răspunde la această întrebare, definim condițiile pentru indescifrabilitatea absolută Din definiția indescifrabilității absolute rezultă că pentru a o asigura este necesar să se creeze condiții în care posibilitatea de a obține orice informații despre mesaje și chei în timpul accesului neautorizat la criptograme să fie absolut exclusă Din punctul de vedere al teoriei informaționale clasice, această problemă se reduce la problema determinării condițiilor de existență a un cifr capabil să genereze criptograme în care nu există informații despre mesajele și cheile corespunzătoare acestora, adică condițiile de indescifrabilitate teoretică Cu toate acestea, din punct de vedere al practicii, nu se poate exclude situația în care scopul analizei informaționale a criptogramelor în cazul accesului neautorizat poate să nu fie stabilit Un exemplu tipic al unei astfel de situații este o simplă enumerare a posibilelor opțiuni de cheie pentru a găsi cheia utilizată în criptare Experiența practică a securității informațiilor arată că probabilitatea acestei situații este destul de mare și trebuie luată în considerare Astfel, pentru a determina condițiile pentru indescifrabilitatea absolută, este necesar: - să determine condițiile de existență a unui cifru capabil să excludă informații despre mesaj și cheie din criptogramă, adică condițiile pentru TNDSH; - stabiliți condițiile în care orice predicție cheie productivă devine imposibilă Având în vedere definiția introdusă anterior a criptării ca codificare cu o carte de coduri în schimbare, este destul de logic să îndeplinim prima cerință prin derivarea unei teoreme de criptare pentru surse discrete În ceea ce privește a doua cerință, pentru a o îndeplini din punctul de vedere al teoriei informațiilor, este suficient să se analizeze factorii care afectează modificarea entropiei ansamblului cheie Procesul de protecție a informațiilor la codificarea sursei U* pe baza ( ) - ( ) poate fi reprezentat după cum urmează La fiecare pas de criptare z-a Ф*, mesajul u(z) = (un u&) este transformat într-o criptogramă &(i)=(eIV enip ), Această transformare este determinată în mod unic de cheie k(/)=(^ r A:/r) Mesajele, criptogramele și cheile sunt definite de ansamblurile respective, adică u(z)gU*, e(z')eE* și k(z)eK* În același timp, literele care le compun sunt literele alfabetelor corespunzătoare, adică iL / eA, și unde A = (a l ) este alfabetul sursă, D = {dx dm^) este alfabetul criptogramei, G = (fP gW ) este alfabetul cheie Ansamblul cheie este ansamblul comun X*Y*, unde X* este ansamblul de date cheie și Y* este ansamblul secvenței cheie Este ușor de observat că reprezentarea prezentată a procesului de protecție a informațiilor corespunde criptării simetrice Totuși, această restricție nu este fundamentală și este introdusă doar în scopul clarității expresiilor ulterioare Teorema , Teorema de criptare pentru o sursă discretă Fie criptarea Φ a unei surse discrete U* să fie determinată de unele ansambluri de chei K* și criptograme E* Atunci, dacă cantitatea medie de informații reciproce este egală cu I[U*K*;E*] = , ( , ) atunci există întotdeauna un cifr Fo care oferă indescifrabilitate teoretică Dovada Din definiția indescifrabilității teoretice rezultă că J[u(z)k(z);e(z)] = , pentru toate i Prin urmare, cantitatea de informații despre mesajul z-th și cheia z-a conținută în a i-a criptogramă trebuie să fie egală cu zero Cantitatea medie de informații reciproce despre mesaje și chei dintr-o criptogramă este definită ca I[U*K*;E*] = M[J[u(z)k(z);e(z)]], ( , ) unde M[J[u(z')k(z);e(z)]] este funcția de așteptare Deoarece cantitatea de informații este întotdeauna o valoare nenegativă, adică J[u(z)k(z);e(z)]> , atunci egalitatea ( ) va indica fără ambiguitate că ( ) este satisfăcută Q E D Corolarul Dacă, la criptarea Ф a unei surse discrete, ansamblurile de mesaje U* și cheile K* nu sunt legate statistic de ansamblul criptogramelor E *, atunci există un cifr Fo care oferă indescifrabilitate teoretică Dovada Să scriem o expresie pentru cantitatea medie de informații reciproce a ansamblurilor U*,K* ,E*: I[U*K*;E*] = I[K*;E*]+I[U*;E*/K*] Din teorema de criptare rezultă că pentru existența cifrului φ , care furnizează TNDS, este necesar ca condiția I[K*;E*]+I[U*;E*/K*] = ( , ) Evident, această condiție poate fi îndeplinită dacă primul și al doilea termen al părții stângi a egalității ( ) sunt egali cu zero Luând în considerare expresiile pentru I[K*;E*] și I[U*;E*/K*], putem presupune că egalitatea ( ) va oferi coace dacă H[K*]-H[K*/E*] = , I[U*;E*K*]-I[U*;K*] = ( , ) ( , ) Aplicând reprezentarea probabilistică a entropiilor, expresia ( ) poate fi dar adu-ți în minte Iad Mk Mg Z^pfk^logpQs j) = ^p(kue;) löe p(k/e(), M j=l i= ( , ) unde M k și ME sunt volumele de spații de probă ale ansamblurilor de chei și respectiv criptograme Astfel, egalitatea ( ) este posibilă numai dacă nu există o conexiune statică între chei și criptograme În plus, folosind relația dintre cantitatea medie de informații reciproce și entropia, transformăm expresia ( ) în forma I[U*;E*K*] - I[U*;K*] = H[U*/K*] - H[U*/E*K*] = Unde ajungem în sfârșit H[U*/K*] = H[U*/E*K*] ( , ) Folosind reprezentarea probabilistă a entropiilor din ( ), este ușor de arătat că această egalitate este o consecință a independenței statistice a mesajelor față de criptograme Astfel, din ( ) și ( ) rezultă că egalitatea ( ) va fi valabilă dacă și numai dacă mesajele și cheile nu sunt legate statistic de criptograme Q E D Aducerea de dovezi ne permite să formulăm o serie de proprietăți și caracteristici caracteristice cifrurilor indescifrabile teoretic În primul rând, după cum se poate vedea din ( ), criptogramele unor astfel de cifruri nu trebuie să conțină informații despre chei Un indiciu în acest sens este faptul că incertitudinea medie a deciziei cheii rămase după interceptarea neautorizată a criptogramei va fi maximă și egală cu incertitudinea medie inițială a cheii În al doilea rând, din ( ) rezultă că, cu acces neautorizat la criptogramele acestor cifruri, nu ar trebui să existe posibilitatea de a obține vreo informație despre mesaje, chiar dacă accesul la chei este posibil Ținând cont de ( ), putem considera acest lucru ca un semn că formarea criptogramelor nu va afecta valoarea condițiilor de entropie s s H[U/K] După cum se poate observa din ( ) și ( ), cea mai simplă condiție pentru asigurarea proprietăților notate este independența statistică a ansamblurilor U*, K* și E* Cu toate acestea, trebuie remarcat faptul că corolarul de mai sus al teoremei de criptare nu impune nicio restricție asupra relației statistice dintre mesaje și chei Este obișnuit să se reprezinte un ansamblu de chei ca un ansamblu comun X*Y* de date cheie și secvențe de chei În plus, din ( ) - ( ) rezultă că o anumită valoare a datelor cheie trebuie să corespundă unui subset strict definit de secvențe de chei din mulțimea Y* Rezultă că datele cheie determină împărțirea setului Y* în subseturi Tinand cont de cerintele ale descifrând, putem presupune că ansamblul comun U* X* E* este supus unei partiții similare O astfel de reprezentare a procesului de criptare conduce la un corolar al teoremei de criptare, care este formulată după cum urmează Corolarul Dacă, la criptarea Ф a unei surse discrete, ansamblurile de mesaje U* și secvențele de chei Y* nu sunt legate statistic de ansamblul criptogramelor E*, atunci există un cifru Fo care oferă indescifrabilitate teoretică Dovada Pe baza faptului că în timpul criptării ansamblul comun U* Y* E* este împărțit în conformitate cu datele cheie ale ansamblului X*, cantitatea medie de informații reciproce I[U*K*;E*] poate fi exprimată ca I[U*K*;E*] = sup I[U/Y/;E/], ( , ) X* unde I[Up*Yp*;Ep*] este cantitatea medie de informații reciproce a partițiilor an- s ♦ * exemplele U, Y și E Dacă considerăm ca un eveniment alegerea unei valori specifice a datelor cheie dintr-o mulțime finită X* de dimensiune Mx, atunci partiția Yp* a ansamblului Y* este definită ca o mulțime finită OG, Y , ,YM ^ ) de evenimente reciproc incompatibile, a căror unire constituie spațiul eșantion al ansamblului Y* Același lucru este valabil și pentru partiția Ep* Din punct de vedere fizic, partițiile Yp* și Ep* pot fi tratate ca cuantificare a spațiilor eșantionare ale ansamblurilor Y* și E* după regula dată de ansamblul X* Conform teoremei de criptare, condiția existenței unui cifr teoretic nedecriptabil este îndeplinirea egalității I[U*K*;E*]= Deoarece I[U*K*;E*] și I[Up* Yp*;Ep*] sunt nenegative, rezultă din ( ) că această egalitate va fi valabilă dacă și numai dacă cantitatea medie de informații reciproce I[ Sus* Da*; Ep*] va fi egal cu zero pentru toate partițiile ansamblurilor U*, Y* și E*, adică pentru toate partițiile ansamblurilor U*, Y* și E*: DE * f * ( , ) Expresie M YX^XXu -y^Hog tjjl Р^ріУр^рп) P(upiUp^P(epn) spectacole acea egalitate ( ) va fi valabilă dacă /?(u y}bn) = p(\^y ) p(en) pentru toți z, j, n, adică mesajele și secvențele de chei vor fi independente din punct de vedere statistic de criptograme Q E D Dovada de mai sus ne permite să tragem o concluzie care determină o proprietate practic importantă a cifrurilor indescifrabile teoretic bazată pe utilizarea ansamblurilor comune de date cheie și secvențe cheie În astfel de cifruri, ansamblul de date cheie X*, conform ( ) și ( ), nu afectează puterea de criptare Cu alte cuvinte, cifrurile teoretic indescifrabile pot folosi date cheie, deschis accesului neautorizat Corolarele teoremei de criptare obținute mai sus reflectă destul de pe deplin rezultatele deja cunoscute ale cercetărilor teoretice în domeniul securității informației Cu toate acestea, posibilitățile acestei teoreme nu se limitează la aceasta Ne permite să formulăm o serie de corolare care deschid o zonă fundamental nouă de cercetare Corolarul Dacă, la criptarea Ф a unei surse discrete, formarea criptogramelor este însoțită de o creștere a incertitudinii medii a cheilor, cu condiția ca acestea să fie dependente statistic de mesaje și H[K*/U*E*] - H[K*/U*] = I[U*;E*], ( , ) apoi există un cifru Fo care oferă indescifrabilitate teoretică Dovada Să scriem expresia pentru cantitatea medie de informații reciproce în formular I[U*K*;E*] = I[U*;E*]+ I[K*; U*/E*], ( , ) Unde eu[K*; U*/E*] = I[K*;U*E*] - I[K*;U*] = H[K*/U*E*] - H[K*/U*] ( , ) Din teorema de criptare rezultă că existența unui cifru Fo indescifrabil teoretic este posibilă atunci când cantitatea medie de informații reciproce I[U*K*;E*] este egală cu zero Pornind de la aceasta, pe baza ( ), luând în considerare ( ), avem I[U*;E*] - (H[K*/U*E*] - H[K*/U*]) = Unde ajungem în sfârșit I[U*;E*] = (H[K*/U*E*] - H[K*/U*]) ( , ) Egalitatea rezultată determină condiția existenței unui cifr teoretic indescifrabil Q E D Partea dreaptă a expresiei ( ) din demonstrația de mai sus poate fi interpretată ca o modificare a entropiei condiționate a cheii în timpul formării criptogramelor Astfel, din ( ) și ( ) rezultă o concluzie destul de extraordinară că indescifrabilitatea teoretică este posibilă și cu o dependență statică a ansamblurilor de mesaje și criptograme, dacă criptarea este însoțită de o modificare a entropiei condiționate a cheii și dacă această modificare va compensa cantitatea medie de informații reciproce despre mesaje din criptograme Originalitatea acestei concluzii constă în faptul că extinde granițele condițiilor clasice general acceptate de indescifrabilitate teoretică, care stabilesc independența statistică obligatorie a mesajelor și cheilor față de criptograme, i e H[U*/E*] = H[U*]; ( , ) H[K*/E*]= H[K*] Unde ajungem I[U*;E*]= H[U*] - H[U*/E*] = ; ( , ) I[K*;E*] = H[K*] - H[K*/E*] = Sensul fizic al acestor condiții este destul de clar Constă în excluderea oricăror informații despre mesaje și chei din criptogramele generate în timpul criptării În plus, în cea mai mare parte a aplicațiilor practice, este de obicei postulată independența statistică a mesajelor și a cheilor a căror, ceea ce se explică, aparent, prin dorința de a oferi garanții suplimentare de indescifrabilitate teoretică Această dorință, precum și încercările de a se apropia cât mai mult posibil de condițiile ( ), în practică nu numai că duce la soluții destul de greoaie și neoptimale, ci și complică semnificativ rezolvarea unei probleme atât de importante precum asigurarea rezistenței la imitație Corolarul arată posibilitatea existenței unor cifruri indescifrabile teoretic cu o dependență statistică de mesaje și criptograme, atunci când egalitatea ( ) nu este satisfăcută În acest caz, inițial se presupune că ansamblurile U* și K* sunt legate statistic, iar absența acestei dependențe statistice este considerată doar ca un caz special în care ( ) ia forma H[K*/E*] - H[K*] = I[U*;E*] De unde, ținând cont de faptul că I[K*;E*] = H[K*] - H[K*/E*] rezultă eu[K*; E*] = - I[U*; E*] ( , ) Ecuația ( ) arată că cu ansambluri independente statistic de mesaje U* și chei K*, existența unor cifruri indescifrabile teoretic permite prezența informațiilor despre mesaje și chei în criptograme Cu toate acestea, cantitatea medie de informații reciproce I[K*; E*] trebuie să fie exact egal cu cantitatea medie de informații reciproce I[U*; E*] cu semnul opus Semnul minus pentru I[U*; E*] din ( ) poate fi interpretat ca introducerea de informații false despre mesaje în criptograme prin stabilirea unei relații statistice între chei și criptograme în timpul criptării La rândul său, dacă în expresia ( ) avem în vedere că H[K*/U*] - H[K*/U*E*] = I[K*;U*/E*] și, în conformitate cu aceasta, aduceți-i la forma -I[K*; U*/E*] = I[U*; E*], atunci sensul fizic general al Corolarului devine clar Se dovedește că cifrurile indescifrabile teoretic pot exista și cu o dependență statistică a ansamblurilor de mesaje, chei și criptograme, dacă criptarea implică o creștere a incertitudinii condiționale medii a cheilor Mai mult, această creștere ar trebui să fie însoțită fi dat de introducerea de informații false despre mesaje în cripto-ul generat grame Utilizarea unui ansamblu comun X*Y* de date cheie și secvențe de chei ca un ansamblu de chei K* necesită specificarea Corolarului al teoremei de criptare considerată mai sus Corolarul Dacă, în timpul criptării Ф a unei surse discrete, formarea criptogramelor este însoțită de o creștere a incertitudinii medii a secvențelor de chei, cu condiția ca acestea să fie dependente statistic de mesaje, iar valoarea acestei creșteri să corespundă exact cu valoarea de cantitatea medie de informații reciproce a mesajelor și criptogramelor, adică H[Y* /U* E* ]-H[Y u* ] = I[Y*; U* ], atunci există un cifr Fо, ofer-іг Г ir Jr Г Г care este teoretic indescifrabil Dovada După cum sa remarcat deja în demonstrația Corolarului , în cazul reprezentării ansamblului de chei K* ca un ansamblu comun X*Y*, posibilitatea existenței unui cifr teoretic indescifrabil este determinată de se obţine prin îndeplinirea unei egalităţi a formei I[U*K*;E*] = supI[U; y;;e;] = o, ( , ) unde limita superioară este preluată de toate partițiile ansamblului U*, toate partițiile ansamblului Y* și toate partițiile ansamblului E* date de ansamblul X* Deoarece I[U*K*;E*] și I[UP* Yp*;Ep*] sunt nenegative, de la ( ) rezultă că această egalitate va fi posibilă dacă şi numai dacă i[u;yX]=o ( , ) ♦ ★ ★ Să scriem expresia pentru I[UP Yp ;EP ] sub forma i[u; yX]=qi" i[y; ; uxl ( , ) Unde i[y;; uXj=i[y;; ux] - i[y;; u;j=h[u;; e;j - h[y;; ux] • ( , ) Inlocuind ( ) in ( ), tinand cont de ( ), obtinem in final h[y;/ și; e;i - h[y> și> i[y;; u;l Q E D Consecințe şi teoremele de criptare deschid o abordare fundamental nouă pentru rezolvarea problemelor de securitate a informaţiei, care constă în asumarea posibilităţii existenţei unor cifruri indescifrabile teoretic cu o dependenţă statistică de ansambluri de mesaje, criptograme şi chei capitolul CODARE EFICIENTĂ METODE DE COMPRESARE A INFORMAȚIILOR CÂND CODIFICAȚI SURSE DISCRETE Codificarea literelor Comparând tipurile și tipurile de codare stabilite mai devreme, se poate observa că codarea eficientă literă cu literă care asigură comprimarea informațiilor este posibilă numai atunci când se codifică tipul BV, adică atunci când se utilizează coduri neuniforme Sarcina codificării în acest caz este formulată după cum urmează Fie dată o sursă de informație U, formând o succesiune de litere u = (і/р Лр ) ale unui alfabet А = Acest adept Proprietatea este supusă codării literă cu literă f, în care fiecărei litere a t din alfabetul A i se atribuie un anumit cuvânt de cod хі = (хѵ х^ = f(at) din literele alfabetului D = ( ^ JW ) al unui anumit dicționar de coduri Aici și în cele ce urmează, vom lua în considerare utilizarea numai a codurilor binare, adică zw = și D = ( , ) Problema este de a determina un cod care reduce redundanța sursei de informații S-a stabilit anterior că problema acestei clase este rezolvată prin utilizarea codurilor de prefix Codificarea în acest caz este reprezentată ca o mapare injectivă f:A->X*, unde A = (al a ), iar X este un set de cuvinte de cod хі = (хѵ ,хПі) = f din codul de prefix f, w este lungimea z-ro a cuvântului de cod, g D{ , } Din teorema rezultă că pentru existența unui cod prefix cu lungime mi phn ,k este necesar și suficient pentru a satisface inegalitatea Kraft Apoi codificarea care asigură îndeplinirea ( ) cu condiția ca niciun cuvânt de cod f (Pi ) să fie prefix al unui alt cuvânt va fi prefix Codarea prefixului care asigură redundanța minimă de codare R(f, U) este considerată optimă Ordinea lexicografică pe setul de litere ale alfabetului A este aranjarea (numerotarea) literelor în ordinea descrescătoare a probabilităților lor a priori p(^i) p(p ) > > p(aBDi) > Codul de prefix păstrează lexicografia ordine dacă din i p(a ) > > p(ati) > Dintr-o expresie recursivă de forma yi+ = y, + p(p) pentru Yi - , se determină valorile lui y; ( a$) , una în prima cifră a cuvintelor lor de cod și, respectiv, pentru literele celui de-al doilea grup (axa a aea a *) - zero La a doua etapă, k = , împărțim din nou fiecare dintre grupuri în două subgrupe cu probabilitățile totale tinzând la / ^ = , și atribuim următoarele cifre de cuvinte de cod, afișând simbolurile primelor subgrupuri ale fiecărui grup , la unu, iar al doilea subgrup la zero Codarea fiecărei litere a alfabetului se termină de îndată ce aceasta este singura din subgrup Este evident că cu cât probabilitatea unei litere a alfabetului este mai mică, cu atât este mai mare numărul de partiții la care va participa și cu atât cuvântul de cod care o reprezintă va fi mai lung Se poate observa că niciunul dintre cuvintele de cod mai scurte obținute în acest caz nu coincide cu începutul cuvintelor de cod mai lungi, adică codul rezultat este unul de prefix Astfel de coduri sunt adesea numite ireductibile Astfel, putem formula următorul algoritm de codare Shannon-Fano Setul de litere ale alfabetului sursă este aranjat în ordinea descrescătoare a probabilităților lor a priori Două grupuri de litere ale alfabetului sunt formate în așa fel încât probabilitățile lor totale să fie aproximativ egale Primului grup i se atribuie simbolul , al doilea grup - Fiecare dintre grupuri este împărțit în două subgrupe astfel încât probabilitățile lor totale să fie cât mai egale Primelor subgrupuri ale fiecăruia dintre grupuri li se atribuie din nou , iar al doilea - , rezultând al doilea simbol al cuvintelor cod Fiecare dintre subgrupurile rezultate este din nou împărțit în două părți cu o probabilitate totală egală (dacă este posibil) etc Codificarea fiecărei litere a alfabetului se termină de îndată ce aceasta este singura din subgrup Împărțirea continuă până când rămâne o literă în fiecare dintre subgrupe Pentru o sursă arbitrară U cu alfabetul A = (a| z/W]), metoda Shannon-on-Fano oferă cea mai mică redundanță de codare în comparație cu metodele Shannon și Hilbert-Moore Totuși, aceasta nu înseamnă că codurile Shen-non-Fano oferă redundanța de codificare minimă posibilă pentru o anumită sursă U Cu alte cuvinte, utilizarea acestor coduri nu se limitează la Evaluează că lungimea medie a cuvintelor de cod care reprezintă literele sursă va fi minimă Codarea optimă rezolvă această problemă Codificare optimă Conceptul de codificare sursă optimă în forma în care este utilizat în prezent a fost introdus pentru prima dată de D A Huffman în Codificarea optimă f pentru o sursă U folosind alfabetul A = ("( a^) este o codificare eficientă care oferă lungimea medie minimă n cuvinte cod = xz-, în comparație cu orice altă codificare f pentru această sursă Deoarece orice set de lungimi obținute pe un cod decodabil unic poate fi obținut pe un cod de prefix, pare convenabil să se aplice următoarea definiție a optimității de codare: O codificare de prefix f este numită optimă pentru o sursă U dacă pentru orice altă codare de prefix f a unei sursa U inegalitatea R(f , U) R este adevărată (f, U) Semnul egal din inegalitatea de mai sus subliniază faptul că o sursă poate avea mai multe coduri optime cu seturi diferite de lungimi de cuvinte de cod Huffman D A se propune o procedură originală de obţinere a codurilor optime folosind conceptul de ansambluri reduse Ansamblul redus U' este ansamblul obținut din ansamblul ordonat lexicografic U prin combinarea (reducerea) a celor două litere cel mai puțin probabile și am} din alfabetul său A = ("[ affîl) în litera a'm și formând alfabet redus A' = ( a} a^) = (ap a? P ad/), unde M = m\ - În acest caz, trebuie îndeplinită următoarea condiție pentru alfabetul redus: P(" ) P(" ) * - * ) = P( a>u- ) + p(ati) ( , ) Dacă condiția ( ) nu este îndeplinită, atunci o ordonare lexicografică a alfabetului A' ? adică schimbarea poziției (numerotarea) literelor sale în ordinea descrescătoare a probabilităților lor a priori Din ansamblul redus U', prin combinarea celor două litere cel mai puţin probabile ale alfabetului său, se poate obţine un nou ansamblu redus şi" ? numărul de litere din alfabetul cărora va fi cu unul mai mic Continuând astfel formarea succesivă de noi ansambluri reduse, se poate realiza ca ansamblul redus rezultat să conţină doar două litere În acest caz, codificarea optimă se va reduce la atribuirea valorii unei litere și celeilalte valori Astfel, problema atribuirii codului optim pentru un ansamblu poate fi redusă la problema găsirii codurilor optime pt ansambluri reduse O variantă a procedurii sistematice de efectuare a operațiunilor descrise mai sus este prezentată în fig Cod algoritm de codare L| sau "drlz) "r , , " , • , Sf , aJ( , ) prin " T " ( , " , • i ; AnsamSl / Chispo Oakv A / h A'M A "/ A'" / | Orez Algoritmul de codare Huffman Algoritmul de codare Huffman prezentat în Fig poate fi formulat după cum urmează Literele alfabetului sursă sunt aranjate în ordinea descrescătoare (crescătoare) a probabilităților lor a priori Cele două litere cele mai puțin probabile sunt legate împreună (în acest caz # și a ) se stabilește că ultimul simbol al cuvântului de cod f(" ) este , iar ultimul simbol al cuvântului de cod f(u) este Cele mai puțin probabile simboluri (i și h) se reduc la simbolul @ , a cărui probabilitate este egală cu probabilitatea totală p(t) = + P(as) • În ansamblul redus rezultat A' = (a a , a\), se determină cele două litere cel mai puţin probabile (în acest caz, n') Ultimul simbol al cuvântului de cod /(a ) i se atribuie valoarea , iar penultimelor simboluri ale cuvintelor de cod legate de f(a ) i se atribuie valoarea Simbolurile " și ^ sunt grupate în simbolul n " al noului ansamblu redus A" = (ai, a , ay), în care sunt din nou determinate cele simboluri cel mai puțin probabile (în exemplul în cauză, acestea sunt ar și a ) Simbolurile ai și ( ) sunt legate între ele (în acest caz, ultimul bit al cuvântului de cod /(u) este atribuit , iar cuvântului de cod f(a ) îi este atribuit ) și sunt grupate în simbol a(tm) ansamblului redus A* = (af, d ) Simbolurile unui ansamblu finit redus sunt legate între ele într-un nod final În acest caz, primii biți de cuvinte de cod care se referă la ff h fff lui a i se atribuie , iar primilor biți ai cuvintelor cod legate de ax li se atribuie Din fig arată că algoritmul de codificare este un arbore de cod, în care cuvintele de cod sunt citite de la dreapta la stânga Este ușor de observat că, dacă metoda Shannon-Fano presupune împărțirea secvențială a unui set de litere ale alfabetului în subseturi, atunci metoda Huffman, dimpotrivă, constă în mărirea secvențială a submulților prin formarea de noi ansambluri reduse (alfabete) ) la fiecare etapă Pentru m > , metoda Huffman are o problemă asociată cu incertitudinea numărului de mesaje Nr? care trebuie grupat în stadiul inițial Această problemă este rezolvată folosind expresia Nr = + (w? - )Qm, unde Qm este restul după împărțirea - ) la (w " ) Exemplu Huffman algoritm de codare optim pentru - este prezentat în fig Numărul de mesaje grupate la etapa inițială, în acest caz, este definit ca Nr= + ( - )= Este ușor de observat că codificarea luată în considerare în exemple va fi optimă dacă sunt îndeplinite următoarele condiții Condiția Codificarea oricărei surse date U va fi optimă dacă cele mai puțin probabile cuvinte de cod sunt de aceeași lungime și diferă doar prin ultimul simbol Dovada Fie o sursă U dată cu un alfabet ordonat lexicografic A = (аѵ am) astfel încât p(a,) > p(a ) > > p(x; |) > p(a/) În cazul general, codificarea prefixului unei astfel de surse cu un cod binar f duce la următorul raport al lungimilor cuvintelor cod f \ nі fH[U] r= Să presupunem că printre setul de coduri f există un cod f , în care cele două cuvinte de cod cel mai puțin probabile /o(^mi-i) și /o(iOTi) au aceeași lungime și diferă doar în ultimul caracter, atunci ( ) R(f ,U) = $>("> +p(a*)n^ -H(U) i= Scăzând expresia ( ) din ( ), obținem A(f,f ) = R(f,U)-R(f ,U) - Deoarece prin definiție ^M] atunci A(f, fo)>O De aici rezultă că codificarea cu codul f oferă cea mai mică redundanță R(f ,U) Dovada Pe baza expresiilor ( ) și ( ), redundanța de codificare a prefixului de bloc binar este definită ca R£(f, U£)=y % />(">,-H£(U)=d-H£(U), ( ' ) L Пі eUL unde n este numărul mediu de simboluri ale secvenței de cod Y(u-) pe literă sursă Din teorema de codificare a surselor cu memorie rezultă că ( , ) Hl[U] , ținând cont de ( ), obținem RĂ(f,UĂ)> Astfel, redundanța de codare f este întotdeauna o valoare nenegativă În mod similar, reprezentând a doua inegalitate din ( ) ca n ~ НL[U] cu o redundanță arbitrar mică, ceea ce trebuia demonstrat Expresia ( ) arată că codarea prefixului bloc poate fi utilizată eficient pentru a comprima informațiile sursă dacă este împărțită în blocuri cu un număr suficient de mare de litere După redefinirea codării blocului Z în formular / (u,) \u d Lch, -Chyu) \u d / (Ch, ) / (Ch, ) - / (Ch,), se poate concluziona că codificarea literă cu literă este un caz special de codificare bloc Rezultă că metodele de compresie discutate anterior bazate pe codarea literă cu literă sunt aplicabile și codării bloc Diferența în acest caz va fi doar că rolul literelor individuale ar trebui să fie secvențe de litere sursă cu o lungime constantă Codare non-bloc Codarea secvențelor de litere (cuvinte) sursei, care au o lungime variabilă, se numește codare non-bloc Aceasta include codificarea de tip VB, care mapează cuvinte de diferite lungimi în cuvinte de cod de aceeași lungime și o codificare de tip W care se potrivește cu cuvintele cuvinte de cod de lungime variabilă de lungime variabilă O codificare non-bloc f de tip VB poate fi reprezentată ca o mapare injectivă P * unde U este multimea sirurilor finite uy = litere utj e = ("!•••"",), Nl- este numărul de submulțimi U L combinate numirea cuvintelor de aceeași lungime L, ; X multime de binare finite combinații de coduri de lungime constantă n O codificare non-bloc f de tip W este reprezentată ca o mapare injectivă unde U este mulțimea de secvențe sursă finite u y de lungime arbitrară, iar X este mulțimea de secvențe de cod finite x i} de lungime arbitrară care alcătuiesc dicționarul de coduri Trebuie remarcat faptul că descrierea teoretică a aplicării codării non-bloc pentru compresia informațiilor este o problemă matematică destul de complexă Aparent, această complexitate este în mare măsură motivul pentru care încercările cunoscute de a rezolva această problemă sunt construcții matematice destul de complexe, care sunt greu de aplicat la fundamentarea teoretică a soluțiilor practice existente Dorința de a obține o soluție matematică riguroasă a unei probleme destul de complexe duce la rezultate teoretice originale (și uneori ingenioase), adesea înțelese doar de matematicieni și foarte departe de aplicații practice Aici, problema interconectarii insuficiente a teoretice cercetarea cu practica După cum sa menționat deja, soluția sa necesită anumite pierderi de precizie din cauza cerințelor implementării practice Din aceste poziții, vom încerca să oferim o justificare teoretică generală pentru metodele de compresie bazate pe codare non-bloc Teorema Teorema lui Shannon pentru codarea non-bloc a surselor discrete Pentru fiecare sursă staționară U, poate fi găsită o codare non-bloc f care are o redundanță nenegativă mai mică decât o valoare arbitrar mică de , adică R(f, U) Dovada Presupunând că codarea f este binară și prefixă, folosim teorema pentru a codifica sursele staționare, reducând ( ) la forma H"[U] ( ) *-h"[u]= ^XuVhkm=" -hm j=i D i=i =i D L ( ) unde este mulţimea cuvintelor sursă de lungime L, ; N este numărul de cuvinte din mulţimea U/y ; Nl este numărul total de lungimi L ? folosit la formarea cuvintelor sursă ( NDSC Astfel, problema determinării condițiilor de furnizare a L R (f, U) se reduce la problema determinării Procesul de codificare în acest caz poate fi considerat ca o mapare a secvenţelor de cod binar x^ de lungime constantă n în cuvintele u, lungime variabilă L t ? compus din literele alfabetului sursă A=(ar yats) Conform teoremei , această mapare va fi prefixă dacă șirul de numere Lx Zn satisface inegalitatea Apoi, ținând cont de ( ), putem scrie L Hmax[X"], atunci L Lxna&, atunci R(f, U) -> Rq (f, U) Dacă nu luăm luând în considerare legătura intermediară, atunci avem în sfârșit : R(f,U) tinde spre R (f,U) dacă H[X"] tinde către Hmax[X"]? adică toate cuvintele cod ale ansamblului X" vor fi la fel de probabile și interdependente Q E D Dovada de mai sus explică în mare măsură strategia de utilizare a codificării de tip VB pentru comprimarea informațiilor Baza acestei strategii este reprezentarea procesului de codificare sub forma unui arbore de cod Sursa U' cu alfabetul A = în acest caz este dată sub forma unor co- un nou arbore A, al cărui vârf (nod), începând de la bază, are k ramuri ("fii"), care determină mișcarea ulterioară de-a lungul arborelui și corespund literelor alfabetului A = (ax at ) În acest caz, vârfurile (nodurile) de capăt ale arborelui A ("frunze") sunt identificate cu cuvintele sursei H, fiecăruia dintre care, în conformitate cu regula de codificare f, i se atribuie valoarea unui cuvânt de cod xr de lungime uniformă Astfel, succesiunea de litere a fiecărui cuvânt al sursei poate fi considerată ca regulă de ascensiune ("cale") de la baza copacului până la vârful său terminal ("frunză") Probabilitatea unui vârf de frunză va determina probabilitatea codului corespunzător acestuia al-lea cuvânt /?(u/) = />(xr), iar mulțimea vârfurilor frunzelor este numărul Nx al cuvintelor cod Având în vedere acest lucru, este adesea folosit conceptul de înălțime medie a arborelui ( , care determină lungimea cuvintelor cod reprezentând cuvintele sursei staționare U care se codifică Se construiește un arbore inițial T|, ale cărui frunze sunt literele al- favita A -(ar am) sursa Frunza arborelui Γ\, care are cea mai mare probabilitate, este reprezentată ca un nod (vertex) cu frunze ale arborelui Γ , care este indus din Γ Cu alte cuvinte, arborele Γ este format din arborele Γ | prin adăugarea la cel mai probabil vârf de capăt al ultimei "ramuri" cu frunze G Se determină o frunză a arborelui G cu cea mai mare probabilitate și se induce G a arborelui G Se repetă procedura de la punctul până la numărul de foi indus arbori Gr- nu va depăși " Ultimul arbore indus Γ, pentru i = k, care încă îndeplinește condiția articolului , este considerat arborele fc-ary A necesar al codului Hodak Tuturor frunzelor arborelui rezultat A li se atribuie cuvinte cod binar de lungime n Exemplu Să codificăm sursa Bernoulli cu alfabetul A = (aja ) și probabilitățile literelor p(&i)= , , p(a )= , prin metoda Hodak pentru o lungime dată de cuvinte de cod n= Pentru a face acest lucru, folosind algoritmul de mai sus, construim un arbore de cod (Fig ) în așa fel încât litera a\ să corespundă cu deplasați-vă în direcția stângă de mișcare în vârful copacului și litera a la dreapta Lângă fiecare vârf (nod) vom indica probabilitatea acestuia Să verificăm îndeplinirea condiției ( ) determinând înălțimea medie a arborelui: L = jL'/>(xj ) = , De unde obținem n > , Condiția este îndeplinită și /-І lungimea necesară a cuvintelor de cod pentru arborele fig definit ca n \u d , - \u d , \u d , corespunde celui dat În sfârșit, obținem următorul cod: /(^i)- , LaAai) - , Fret ^) \u d , Lada ) \u d yuo, l " " a) \u d yui, L "i" yGi) \u d Yu, L " " ad) \u d de, / (a a a a ) \u d W Orez Arborele de codare Hodak Redundanța f a codării Hodak pentru o sursă Bernoulli cu alfabet (аі яц) u = нііп/?(а ) > poate fi definit ca R(f,U) = C(f,U)-H(U)=^-î ( , ) -log-!ogp("t) eu rm d Inegalitatea din ( ) se obține prin aplicarea întotdeauna satisfiabilului pentru f Condiții de codare Hodak "/?(x ) h =]q>(at)-(kY)p( at l) = p(ai + k(j>(at) - pM ( ) Deoarece literele alfabetului unei surse reale sunt întotdeauna inegal probabile, din ( ) rezultă că cuantizarea va fi neuniformă Aceasta subliniază oportunitatea stabilirii unei ordini lexicografice peste literele alfabetului A, adică Xi)^p(a )> >p(an) Alegerea nivelurilor de cuantizare s(r) și a cuvintelor de cod corespunzătoare x este determinată de strategia de cuantizare dată O experiență impresionantă în rezolvarea problemelor din această clasă arată că cele mai bune rezultate pot fi obținute cu parametrii de cuantificare care variază în timp O privire asupra procesului de codificare sursă din pozițiile propuse se deschide larg oportunități de dezvoltare a unor noi metode de codificare eficientă prin utilizarea binecunoscutului aparat matematic al teoriei prelucrării digitale a mesajelor și semnalelor continue În cazul abordării propuse de autorii metodelor de codificare aritmetică, această aplicație, așa cum s-a menționat deja, ar trebui să fie supusă restricțiilor care decurg din necesitatea cuantizării variabilelor și oportunitatea ordonării lexicografice a alfabetului sursă Aceasta dă naștere problemei unei posibile încălcări a ordinii lexicografice stabilite la modificarea parametrilor de cuantizare ai semiintervalului [ , ) Soluția la această problemă în codificarea aritmetică este obținută prin scalarea variabilă succesivă a semi-intervalului original [ , ) În acest caz, parametrii de scalare se modifică atunci când sosește următoarea literă u a sursei și sunt determinați în mod unic de această literă Deoarece codarea aritmetică presupune transformarea cuvintelor sursă în cuvinte cod xr-, numărul de modificări de scară ^(u/) corespunde lungimii cuvântului u Adică, scalarea se realizează în cadrul fiecărui cuvânt sursă, începând de la sosire a primei ei litere și se termină după sosirea ultimei Acest lucru face posibilă limitarea creșterii evidente a complexității practice a calculelor cu creșterea Cu toate acestea, pentru lungimi mari de cuvinte sursă, această complexitate va crește în continuare semnificativ, ceea ce este un dezavantaj al metodelor de codificare aritmetică și explică inaplicabilitatea lor pentru codarea literă cu literă În plus, un alt dezavantaj este evident, care constă în necesitatea introducerii de caractere speciale (proceduri) care determină începutul și sfârșitul scalarii O privire asupra codificării aritmetice din pozițiile propuse relevă problema, care constă în absența practică a unei orientări aplicative a formulării problemelor cercetării teoretice în domeniul codificării aritmetice Acest lucru duce la o bine-cunoscută polarizare a muncii în acest domeniu pe lucrări de natură teoretică pronunțată și lucrări de natură predominant aplicată Mai mult decât atât, lucrările teoretice sunt în principal soluții destul de complexe ale problemelor pur matematice, de înțeles unui cerc relativ restrâns de specialiști și cu siguranță departe de practică Un exemplu în acest sens este că aproape toate soluțiile exacte semnificative teoretic sunt obținute aici pentru sursele fără memorie cu perspective destul de dubioase de generalizare la cazul surselor reale cu memorie În general, se are impresia că matematicienii nu au prea mult succes în a încerca să fundamenteze teoretic soluții practice gata făcute, fără să-i pese ca justificarea lor să fie de înțeles pentru inventatorii acestor soluții Acest lucru, aparent, explică absența efectivă în cea mai mare parte a lucrărilor legate de aplicațiile practice ale codificării aritmetice, orice fundamentare teoretică serioasă a metodelor sale Problema remarcată înainte de rezolvarea acesteia necesită o abordare atentă și echilibrată a studiului metodelor de codificare aritmetică Prin urmare, în viitor ne vom restrânge doar la un număr de exemple care ne permit să înțelegem implementarea principiilor teoretice considerate anterior ale codificării aritmetice Exemplu Există o sursă fără memorie U, formând cuvinte de lungime arbitrară din litere ale unui alfabet A = (a , a , a , a , a ,!) cu probabilități: p(ax) = , , - , , A ) = Xa )=Xa )=X =OD Aici semnul (!) denotă un caracter special folosit pentru a separa cuvintele generate de sursă Să facem o codificare aritmetică a cuvântului ui = (u^u^u^u^u^) ? unde un = a , = a\, uіz = az, w/ - az, uіz = !• Pentru a face acest lucru, în conformitate cu probabilitatea După măsura ansamblului U al sursei, împărțim semiintervalul [ , ) în regiuni de cuantizare corespunzătoare probabilităților literelor alfabetului A (Fig ) II III О , , , , , Orez Împărțirea semiintervalului probabilităților literei sursă în domenii de cuantizare Când se codifică după sosire = a , semi-intervalul inițial [ , ) se îngustează până la semi-intervalul [ , , , ) corespunzător regiunii de cuantizare pentru simbolul până la prima a cincea parte a acestuia, deoarece regiunea de cuantizare [ ] , , ) corespunzător lui , este prima a cincea parte a semiintervalului original [ , ) Ca rezultat, obținem un semi-interval de lucru [ , , , ) corespunzător celei de-a doua modificări de scalare Lățimea acestui semi-interval este de , , deoarece lățimea semi-intervalului de lucru anterior a fost , și o cincime din acesta este , Următoarea literă a cuvântului w/ = corespunde zonei inițiale de cuantizare a semiintervalului dat [ , , , ) Având în vedere acest lucru, semi-intervalul [ , ) este scalat, în urma căruia obținem următorul semi-interval de lucru [ , ) Și așa mai departe, până la sosirea simbolului = !, conform căruia semi-intervalul de codare rezultat este fix Semi-intervalul [ , , , ) va fi rezultatul codificării cuvântului La decodificare, compararea acestuia cu intervalul original din Fig arată că se află în regiunea de cuantizare corespunzătoare simbolului i Astfel, se decide ca prima literă din cuvântul decodat să fie litera Pe baza acestui lucru, semi-intervalul inițial este scalat în semi-intervalul [ , ) și din nou se verifică în ce regiune de cuantizare scalată jumătate-intervalul [ , , ) Comparația arată că se află în regiunea scalată [ , , , ) corespunzătoare literei a și un cod prefix arbitrar f inegalitatea Rn(f ,S) k, Lt=nt, ( ) unde (Jk) este numărul corespunzător valorii intervalului k ( ) ( , ) f Din exemplu rezultă că, pentru a elimina incertitudinea la codificarea primei apariții a literelor dintr-un cuvânt, este necesar să adăugați o listă de litere ale alfabetului la începutul fiecărei secvențe sursă codificate În ( ) această listă este reprezentată de litere cuprinse între paranteze Metoda teancului de cărți O caracteristică a metodei este că, în loc de numărul tuturor literelor dintre două litere identice, este indicat numărul de litere diferite dintre ele Astfel, codificarea f a cuvântului C dată în ( ) poate fi reprezentată ca (ala a )a a a a a a alalala (, ) ( , ) Metoda IFC Constă în faptul că litera din cuvântul sursă este înlocuită cu numărul de litere și numere mari care separă prima includere curentă și anterioară a literei codificate În acest caz, codificarea f a secvenței u din ( ) este reprezentată după cum urmează: (ala a )a a a a a a alalala ( ) ( - ) Cuvântul cod din ( ) poate fi considerat ca un set de secvențe de trei tipuri: secvențe formate doar din corespunzător literei ; de la - litera; din - litera Aceasta permite decodarea secvenţială alfabetică, începând cu prima şi lăsând un număr adecvat de spaţii goale pentru alte litere Trecerea la alfabetul binar al cuvintelor cod se realizează prin codificarea prefixului binar a numerelor zecimale corespunzătoare literelor Utilizarea unui cod prefix poate reduce semnificativ redundanța codării intervalelor în general, care, după cum se știe, este deosebit de importantă atunci când se rezolvă problemele de comprimare a informațiilor sursă Dicţionar coding methods Metodele Lempel-Ziv În , A Lempel și Y Ziv (Lempel A , Ziv J ) au propus ideea de codificare, care constă în următoarele: dacă în textul mesajului apare o secvență de două sau mai multe litere întâlnite anterior, atunci această secvență (expresie) este declarată literă nouă și i se atribuie un cod Această idee a dezvoltat ideea lui Huffman, care constă în reducerea succesivă a alfabetului sursă sub codificare optimă, la codificare dicționare În acest caz, codificarea secvenței de litere sursă a implicat atât reducerea alfabetului său, cât și reducerea adaptativă a dicționarului de cod Nu este o coincidență faptul că familia de metode care implementează această idee, împreună cu numele lor principal (metode Lempel-Ziv sau metode LZ), este adesea definită ca metode de codificare a dicționarului Esența acestor metode este că frazele din textul comprimat sunt înlocuite cu un indicator către locul în care au apărut anterior în acest text O formă a unui astfel de indicator este perechea (k, Z), care înlocuiește o frază de I caractere care începe cu offset k în fluxul de informații de intrare La decodare, indicatorul este pur și simplu înlocuit cu o frază gata făcută din dicționarul către care indică După ce au prezentat ideea de codificare, A Lempel și J Ziv au propus în și două variante ale implementării acesteia sub forma metodelor LZ și LZ Ulterior, aceasta a determinat două direcții pentru dezvoltarea ulterioară a metodelor de codificare a dicționarului și împărțirea lor în două grupuri Metodele primului grup, găsirea șirurilor de caractere care au fost deja întâlnite în secvența codificată, în loc să repete aceste șiruri, le înlocuiesc cu pointeri către repetări anterioare Dicționarul din acest grup de metode este conținut în datele procesate într-o formă implicită, sunt stocate doar pointerii către lanțurile de caractere repetate care apar Baza fundamentală a acestui grup de metode este metoda LZ Cel mai perfect reprezentant al acestui grup, care a cuprins toate realizările în această direcție, este metoda LZSS, publicată în de Storer și Szymanski (Storer JA, Szymanski TG) Metodele celui de-al doilea grup, pe lângă dicționarul sursă original, creează un dicționar de fraze care sunt combinații repetate de caractere din dicționarul sursă care apar în datele de intrare În același timp, dimensiunea dicționarului sursă crește și sunt necesare mai multe caractere pentru a-l codifica, dar o parte semnificativă a acestui dicționar nu va mai fi litere individuale, ci combinații de litere sau cuvinte întregi Când cu encoder- La căutare, se găsește o frază care a fost deja întâlnită anterior, ea este înlocuită cu indexul ei în dicționarul care conține această frază În acest caz, lungimea codului index este mai mică sau mult mai mică decât lungimea codului frazei Baza fundamentală a acestui grup de metode este metoda LZ Cel mai perfect reprezentant al acestui grup de metode de dicționar în acest moment este metoda LZW (Letnpel - Ziv - Welch), dezvoltată în de Terry A Welch Metoda LZ Metoda constă în separarea cuvântului codificat Uf = (w, i- "tt) , referitor la mulţimea U £ de cuvinte (u; e U ) ? format este alfabetul exact A-(ar a^) ? pe subcuvinte Urmând cu prostie regula Lasă începutul și deja împărțit în subcuvinte, adică și = (y ,y y/,"//, ma) Ob- G notăm prin și/ partea din cuvânt care începe cu a-a litera a sa și se termină cu a-a litera, adică = (u ui} Alegem următorul subcuvânt Yy+i = u/ ca cel mai lung început al restului care a fost deja întâlnit V u^ = (u u^ Astfel, pentru Codul pentru fiecare subclasă este ; +i va fi o pereche de numere (uy, ry - /y + ) Exemplu Să codificăm cuvântul u format din literele alfabetului А = ( Jp unde (a ) = Y ; (aiag) - T ' (°i) = b > (LA) = Y , (a "i" ) = Y , /, este operaţia de reducere În conformitate cu ( ), codificăm succesiunea de subcuvinte y y: VIbG V G ->( , )( , )( , )( , )( , ) L Astfel, operația de codificare a f cuvinte și; conform metodei LZ , acesta poate fi reprezentat în sfârșit sub formă (ala )a ala a ala a a a a > ( , )( , )( , )( , ) f Cu alfabetul binar al cărții de coduri, la etapele de codificare f, considerate în exemplu, se mai adaugă o etapă, constând în reprezentarea binară a fiecărei perechi de numere a codului Y În acest caz, este oportun să scrieți primul număr din fiecare pereche în formă binară folosind exact + biți, al doilea poate fi codificat cu un cod de prefix arbitrar Metoda LZ Metoda diferă de cea considerată mai sus prin aceea că la fiecare pas este selectat cel mai lung început al restului și] ? care coincide cu unele deja distinse sub cuvântul Yg, g a ia "a a , a a , a a a a , fp GDv (# ) - Ur (a!j) - U ) ) - Usp s (^A ) ~ U s (^i^ ^i) - Uz j ) Y Y Y Y T ->( , )( , )( , )( , )( , ) Unde ajungem în sfârșit ( , )( , )( , )( , )( , ) / Codificarea binară f conform metodei LZ este definită ca o succesiune de perechi de numere reprezentate în cod binar În același timp, primul numărul perechii se scrie în binar folosind ar^ar^ar^arr^ ? fp S-a stabilit teoretic că metodele LZ , LZ și LZW sunt capabile să ofere redundanță de codare zero f pentru orice set limitat S de surse Markov, adică R(f,S) = Aceasta explică creșterea interes pentru metodele de codificare a dicționarului în rezolvarea problemelor de compresie a informațiilor În plus, modificarea dicționarului de cod adaptativ la informațiile primite conferă în acest caz un anumit grad de secretizare mesajelor stocate și transmise În primul rând, îi protejează de observatorul ocazional În al doilea rând, prin eliminarea redundanței, împiedică criptoanalistul să stabilească ordinea statistică inerentă limbajului natural În al treilea rând, și cel mai important, modelul de compresie acționează ca o cheie foarte mare, fără de care decriptarea este imposibilă Utilizarea unui model adaptiv înseamnă că cheia depinde de tot textul transmis sistemului de codificare/decodare în timpul inițializării acestuia De asemenea, un prefix de date comprimate poate fi folosit ca o cheie, care determină modelul pentru decodare ulterioară Cu toate acestea, așa cum se va arăta mai jos, din cauza relației statistice dintre elementele unor astfel de chei și a dependenței lor neechivoce de mesaj, eficiența protecției informațiilor în acest caz va fi destul de scăzută capitolul CODIFICAREA SURSELOR CONTINUE În cazul general, codificarea unei surse continue de informaţie constă în afişarea mesajelor generate de aceasta într-o secvenţă de cuvinte cod ale unui dicţionar de cod dat Din punctul de vedere al teoriei informației, aceasta înseamnă maparea realizărilor spațiului eșantion continuu al ansamblului sursă în elemente ale spațiului eșantionar discret al ansamblului unui cod dat, care sunt anumite secvențe de litere sau numere Această mapare poate fi foarte diferită de simpla mapare analog-digitală, care este de obicei definită ca o reprezentare digitală Funcțiile și capacitățile sale sunt mult mai diverse și mai largi Reprezentarea digitală a mesajelor continue Principala și până acum singura metodă cunoscută de reprezentare digitală a mesajelor continue este metoda de modulare a codului de impulsuri (PCM) Termenul "modulație" din denumirea metodei poate fi oarecum înșelător, dat fiind că inițial această metodă nu face nicio presupunere cu privire la forma materială specifică a mesajelor, adică a semnalelor Metoda PCM este o secvență de transformări ale informațiilor continue, constând în eșantionare, cuantificare și codificare în timpul transmisiei, precum și decodarea și restaurarea mesajelor continue în timpul recepției În acest caz, nu sunt stabilite restricții în ordinea operațiilor de discretizare și cuantizare Acesta din urmă este deosebit de important atunci când se rezolvă o serie de probleme teoretice și practice, deoarece deschide posibilitatea a două tipuri echivalente de reprezentare a modulării codului impuls al mesajelor continue: în primul rând, sub forma unui lanț de transformări: un proces aleator continuu s (Z) - un proces cuantificat (p (t) - un proces digital y (t) - o succesiune de combinații de cod binar (Fig ); în al doilea rând, sub forma unui lanț de transformări: un proces aleator continuu s (Z) este o secvență aleatorie cu valori continue de mostre (probe) sz- este o secvență aleatorie discretă de mostre cuantizate sz- f - secvențe de cod x / * > (Fig ) Orez Primul tip de transformări cu PCM a B C D Orez Al doilea tip de transformări cu PCM Operațiile de decodare și restaurare a unui mesaj continuu la primire sunt de obicei combinate într-un algoritm de estimare s*(/), care este implementat ca un filtru de estimare corespunzător unui anumit criteriu de optimitate Cel mai adesea, criteriul de eroare medie pătratică minimă este utilizat ca atare criteriu În acest caz, eroarea înseamnă diferența e(Z)=s(Z)-s*(Z), care este definită ca zgomotul reprezentării digitale Prelevarea de probe Teorema de discretizare Un proces aleator continuu s(Z) este înlocuit cu o succesiune de variabile aleatoare cu valori continue sz- care urmează intervalele de timp T, numite interval de eșantionare În cazul unui interval constant T, discretizarea se numește uniformă Dintre procedeele de discretizare utilizate, cea mai frecventă este discretizarea liniară, în care s, = - În această formulă, S, sunt valorile eșantionului procesului s(Z); /( este o funcție de selecție ponderată În practică, selecția punctului este cel mai adesea efectuată, în care /( este o funcție delta: Z( = (zt-z) În acest caz, valorile eșantionului procesului sunt numărul său = s(tj = s(iT) A doua procedură de discretizare mai puțin obișnuită este discretizarea de integrare (cu funcție de selecție dreptunghiulară) În acest caz, funcția de alegere este Valoarea eșantionului corespunzătoare " S/ = fs( ^ • T În toate cazurile, procesul de discretizare trebuie să îndeplinească condiția care rezultă din teorema de discretizare a lui Kotelnikov T F m Se poate observa că rata de eșantionare trebuie să fie de cel puțin două ori frecvența maximă Fm a spectrului de mesaje analogice Cuantizarea Gama de valori posibile ale procesului continuu este împărțită în L regiuni de cuantizare prin pragurile de cuantizare h(r) (L= , , L) Valorile unui proces aleatoriu (Fig , a) sau ale unei secvențe discrete (Fig , c) sunt comparate cu pragurile de cuantizare și, dacă apoi se formează nivelul de cuantizare corespunzător regiunii de cuantizare dată În cazul reprezentării PCM sub forma Fig , valoarea nivelului de cuantizare este menținută până la următoarea tranziție s(t) la o altă regiune de cuantizare Astfel, se formează un proces cuantificat cp(t), a cărui valoare în fiecare moment de timp corespunde unuia dintre nivelurile de cuantizare (Fig ) Discretizarea acestui proces în timp cu pas constant T conduce la formarea unui proces digital \|/(t), (Fig , c) În cazul reprezentării PCM sub forma Fig cuantizarea conduce la formare ~ - (la) secvență discretă de niveluri de cuantizare sz-, care este uneori numită secvență digitală (Fig , c) Diferența dintre pragurile de cuantizare adiacente este definită ca pasul de cuantificare Dacă pasul de cuantizare este constant, atunci cuantizarea prin se numește uniformă Codificare Principalele coduri utilizate în reprezentarea digitală de către PCM sunt codul binar natural și codul Gray cod binar natural La utilizarea acestui cod, fiecare secvență de cod х/^ (cuvânt de cod) este o înregistrare binară a numărului regiunii de cuantizare ε = L, corespunzătoare nivelului de cuantizare, fără unitate Dacă este dat numărul regiunii de cuantizare k, atunci cuvântul de cod corespunzător x/(r)=(xc Xm) poate fi determinat din egalitate + хі п~ + + хі ° = k - ( ) unde Xu = ( , ) Exemplu Să construim un cod binar natural pentru reprezentarea digitală prin metoda PCM la L= și L= În conformitate cu ( ), numerele de regiuni de cuantizare sunt reprezentate în următoarea formă: L= (n= ): - ( ); - ( ); - ( ); - ( ); L= (n= ): - ( ); - ( ); ; - ( ); - ( ); - ( ); -( ) Codul binar natural este ponderat datorită faptului că, după cum se poate observa din ( ), atunci când îl utilizați, se ia o anumită "greutate" pentru fiecare poziție binară Cod gri Acest cod este caracterizat de o anumită ordine de formare a dicționarului de cod, în care cuvintele de cod învecinate diferă doar cu un bit În acest caz, se stabilește următoarea regulă pentru formarea cuvintelor de cod: ) pentru a construi cuvinte cod de lungime n se scriu două secvențe de cuvinte cod Gray, formate din cuvinte cod de lungime (n - ); ) ordinea cuvintelor cod din a doua secvență este inversată; ) este atribuit posturilor superioare ale cuvintelor cod din prima secvență, iar celei de-a doua Exemplu Să construim un cod Gray pentru reprezentarea digitală prin metoda PCM la L= În acest caz, numărul de simboluri binare din cuvintele cod va fi egal cu n - l°g = Apoi, ținând cont de codul Gray pentru u= , avem: YU; OOO ON, , , prima secvență secvența a -a Astfel, în reprezentarea digitală, ansamblul continuu S al sursei este transformat într-un ansamblu discret X, al cărui spațiu eșantionar este un set de combinații de cod (*) X codul utilizat, iar măsura probabilității este totalitatea probabilităților acestor combinații de coduri De obicei, aceste probabilități sunt date sub formă de matrici, care sunt numite matrici de cod statistic Caracteristicile reprezentării digitale Având în vedere unicitatea x/(r) și \|/(Z) pe semi-intervalul , ti + J), putem presupune că principalii parametri ai reprezentării digitale sunt: perioada de eșantionare T, pragurile de cuantizare și nivelurile de cuantizare s /Ch Acești parametri sunt definitori pentru procesul digital corespunzător mesajului continuu original Cu alte cuvinte, prin modificarea acestor parametri, este posibilă modificarea tipului de proces digital în conformitate cu criteriile stabilite pentru optimitatea prelucrării sale ulterioare Aceasta implică prima caracteristică principală a reprezentării digitale prin metoda PCM: posibilitatea schimbării adaptative sub forma procesului digital generat în conformitate cu strategia de prelucrare ulterioară a acestuia Implementarea optimă a acestei posibilități determină următoarele caracteristici ale alegerii parametrilor de eșantionare și cuantificare: Alegerea nivelurilor de cuantizare este determinată de condițiile de formare a estimării optime s*(/) la restaurarea unui mesaj continuu Prin urmare, este recomandabil să folosiți niveluri de cuantizare ca niveluri de cuantizare optime Alegerea pragurilor de cuantizare este determinată de algoritmul de cuantizare acceptat Cu cuantizarea optimă a diferitelor procese, această alegere ar trebui să ofere o etapă de cuantificare neuniformă care variază în timp Alegerea nivelurilor de cuantificare depinde de perioada de eșantionare Г, alegerea pragurilor de cuantificare nu depinde de perioada de eșantionare A doua caracteristică principală a reprezentării digitale este nestaționaritatea obligatorie a procesului digital generat chiar și în cazul în care mesajele continue inițiale reprezintă un proces strict staționar (staționar în sens restrâns) A treia caracteristică principală este că mesajul continuu s(Z) și zgomotul reprezentării digitale e( =s(t)-s*(/) sunt legate de o dependență deterministă neliniară determinată de cuantizarea neliniară caracteristică: L- s*(s) = s*( ) + X f (- - + s*w)cfe fc=l - Un exemplu de astfel de caracteristică este prezentat în Fig Fig Caracteristica de cuantizare Această caracteristică necesită o atitudine atentă la concluziile despre independența mesajului și zgomotul reprezentării sale digitale atunci când acestea sunt necorelate, ceea ce este posibil cu o creștere semnificativă a numărului de niveluri cuantice vanitate Faptul este că funcția de corelație este o măsură a unei conexiuni probabilistice liniare, iar utilizarea ei ca măsură a unei dependențe neliniare în acest caz poate duce la rezultate eronate Caracteristicile informaționale ale acurateței reprezentării digitale Entropia Epsilon Probleme de transmitere a informațiilor continue cu estimarea erorilor de discretizare în timp și amplitudine Reprezentarea digitală a oricăror mesaje analogice este însoțită de pierderea informațiilor conținute în acestea, cauzată de discretizarea în timp și amplitudine În termeni generali, acest lucru se manifestă prin diferența dintre mesajele continue s*(/) restaurate după transformarea digitală și transmisia din originalul corespunzător s(Z) Cum se evaluează aceste pierderi? Pentru a face acest lucru, trebuie rezolvate următoarele probleme principale În primul rând, aceasta este problema că eroarea e(Z)=s(Z)-s*(Z) are un caracter aleator pronunțat și este conectată printr-o dependență deterministă neliniară cu s(Z) determinată de neliniaritate a caracteristicii de cuantizare Mai mult, pentru procesele aleatoare, această problemă este sporită de nestaționaritatea obligatorie a acestei erori, care decurge din caracteristicile reprezentării digitale În al doilea rând, aceasta este problema definiției în formularea directă a redundanței, asociată cu incertitudinea conceptului de entropie pentru sursele continue O abordare pentru rezolvarea acestei probleme din punctul de vedere al teoriei informației a fost găsită pentru prima dată de remarcabilul om de știință rus A N Kolmogorov [ ] Se bazează pe introducerea conceptului de precizie dată "epsilon", definit de expresie £ = M[e (/,)] ( , ) Esența abordării este determinarea cantității medii de informații rămase în timpul restaurării elementelor ansamblului sursă S după reprezentarea lor digitală Dacă presupunem că mesajele continue s*(/) restaurate după transformarea digitală sunt elemente ale ansamblului S , atunci această problemă poate fi formulată ca I[S;S*] = h[S]-h[S/S*], ( , ) unde I[S;S*] este cantitatea medie de informații despre elementele ansamblului S conținute în elementele ansamblului S ; h[S] este entropia diferenţială a ansamblului S, care reflectă cantitatea medie de informaţie din elementele ansamblului S; h[S/S*] este o entropie diferențială condiționată care caracterizează pierderea de informații în reprezentarea digitală Din expresia ( ) rezultă că cantitatea medie de informație reciprocă I[S;S*] și entropia diferențială condiționată h[S/S*] pot acționa ca caracteristici informaționale ale acurateței restabilirii mesajelor continue după reprezentarea lor digitală sau , pe scurt, acuratețea reprezentării digitale Strategia de evaluare a acurateții unei reprezentări digitale este de a determina ♦ împărțirea valorii minime la acestea I[S; S]? permițând restabilirea Mesaj continuu bidirecțional cu o precizie dată £ Această strategie a fost propusă pentru prima dată de A N Kolmogorov în El a descoperit conceptul de "epsilon-entropie", pe care l-a definit ca fiind cantitatea minimă de informații necesară pentru a determina o variabilă aleatorie cu o precizie dată "epsilon": Hg = min I[S;S* ] = h[S] - max h[S/S* ] ( , ) Dezvoltat de A N Kolmogorov, teoria epsilon-entropiei a fost dezvoltată ulterior de A I Calitativ [ ] în raport cu problemele teoretice de reprezentare digitală a variabilelor aleatoare și procese aleatoare, precum și cu probleme aplicate de reprezentare digitală a informațiilor audio și video Pentru rezolvarea celei de-a doua probleme se poate aplica o abordare bazată pe introducerea conceptului de redundanță relativă Estimarea erorilor de discretizare în amplitudine Cuantificare Epsilon-entropie Epsilon-entropia de cuantizare caracterizează pierderea de informaţie cauzată de eroarea de cuantizare: e = s - s*^ Astfel, pătratul mediu al acestei erori M[e ] în acest caz poate fi considerat ca o măsură a acurateței "epsilon" a reprezentării digitale a variabilelor aleatoare s: s = M[e ] Ținând cont de ( ), entropia epsilon condiționată h[S/S*], care caracterizează pierderea de informații în timpul cuantizării, poate fi reprezentată ca h[S/S*] = h[E], de h[E] - entropia erorii de cuantizare Ținând cont de posibilitatea stabilită a aproximării gaussiene simularea proceselor reale, avem unde P(s) și D sunt densitatea probabilității și varianța inițialei orice mesaje Apoi, după integrare h[S] = JP(s)log găsiți entropia sursei de informații: D s log e ds, h[S] = llog ( ;re£>s) °f P(s)t/s = llog ( ^eZ)s) - cu ( - ) Entropia condiționată h[S/S*] = h[E] va fi maximă atunci când ansamblurile S și E sunt independente și în același timp E are o probabilitate gaussiană măsura p(e) s P(')=T ^"P[^ Astfel, valoarea maximă a entropiei condiționate h[S/S*] poate fi definită în mod similar cu h[S] și reprezentată ca maxh[S/S*] = h[E] = -log ( ?re£ ) Înlocuind ( ) și ( ) în ( ), obținem expresia entropiei epsilon cuantizare: ( , ) Această expresie caracterizează pierderile de informații în timpul cuanticei institute de cercetare Trebuie remarcat faptul că este fundamental diferit de cel cunoscut formulele Hs = -log + -I următorul dintre destul de frecvente în prezent Denumirea aproximării procesului de cuantizare ca un amestec al mesajului și al zgomotului său independent de cuantizare aditivă Această diferență se explică prin faptul că în ( ) se ia în considerare dependența zgomotului de cuantizare și a mărimii care se cuantizează În formula ( ), varianța zgomotului de cuantizare e nu poate fi mai mare decât varianța mesajului Ds Astfel, valorile lui Not vor fi întotdeauna pozitive și direct proporționale cu valorile raportului Ds/e Profitând de natura lipsită de ambiguitate și monoton descrescătoare a dependenței de El din E , din formula ( ) se poate obține o expresie pentru valoarea limită inferioară a pătratului mediu al erorii de cuantizare: = P N₽ În aplicațiile practice, formula rezultată poate fi interpretată după cum urmează Dacă este dat numărul de unități binare nealocate pentru a reprezenta valorile cantității cuantificate în formă digitală, atunci nu există Există o metodă de cuantizare care ar furniza o valoare mai mică a pătratului mediu al erorii de cuantizare decât cea determinată prin formula ( ) Rețineți că numărul de niveluri de cuantizare L nu participă încă la formulele de mai sus Această valoare este introdusă după cum urmează Când se codifică cu un cod binar redundant, fiecare nivel de cuantizare k (&G L) va avea propria sa combinație de cod x^ Aceste combinații de coduri vor conține maximum de informații numai dacă sunt la fel de probabile, când Хх'І-, -и■ deci I can (tm) înainte de bunicul în formă *= P\x ) b Având în vedere acest lucru, din ( ), obținem Ultima formulă stabilește relația dintre valoarea limită inferioară pătratul mediu al erorii de cuantizare £ cu numărul de niveluri de cuantizare sub condiția unei aproximări gaussiene a mărimii cuantificate Prin îmbunătățirea metodei de cuantizare este posibilă abordarea acestor valori, dar este imposibil să se obțină o eroare mai mică Metodele de cuantizare existente au valoarea de £, depășind limita inferioară de aproximativ , - , ori Cum se poate reduce această valoare și se apropie de limita inferioară? Din păcate, nu există un răspuns complet la această întrebare, oferind o rețetă tehnică Nu se poate ghida decât după condițiile de mai sus pentru h[S/S*] maxim: estimarea și eroarea trebuie să fie independente și, în același timp, eroarea trebuie distribuită conform legii gaussiene Pentru a ne asigura că eroarea de cuantizare este gaussiană, este necesar ca nivelurile de estimare și pragurile de cuantizare să fie variabile aleatorii Astfel, una dintre modalitățile de îmbunătățire a cuantizării este furnizarea procedura de cuantificare aleatorie În acest caz, procesul de prelucrare a informațiilor digitale poate fi reprezentat ca un lanț: mesaj cu valori continue -> cuantizare aleatorie -> discretizare -> codificare -> decodare aleatorie -> estimare cu valori continue În acest caz, procedurile de cuantificare și decodificare aleatoare vor fi interconectate Expresia ( ) poate fi utilizată pentru a estima acuratețea reprezentării digitale a unei surse continue numai în cazurile în care spațiul ei eșantion este o variabilă aleatoare cu valori continue Acest lucru se explică prin faptul că ( ) nu permite estimarea pierderii de reprezentare digitală asociată eșantionării Majoritatea surselor reale de informare necesită reprezentarea spațiului eșantionului sub formă de procese aleatorii, atunci când aceste pierderi sunt semnificative Soluția acestei probleme este oferită de introducerea conceptului de "epsilon-entropie a unui proces aleatoriu" Entropia epsilon a unei reprezentări digitale a unui proces aleatoriu este definită ca entropia epsilon a cuantizării pe unitatea de timp Această definiție este destul de generală și necesită, de obicei, specificații în raport cu tipul unei surse reale de informații, pentru a cărei descriere se folosește un proces aleatoriu Epsilon-entropia reprezentării digitale a informațiilor audio Sursele de informații audio pot fi descrise destul de precis de un ansamblu continuu S al cărui spațiu eșantion este un proces aleator scalar s(Z) cu o densitate spectrală Gs(/),/> În reprezentarea digitală, acest proces este convertit într-un flux digital, de obicei o secvență de caractere binare Una dintre principalele caracteristici ale acestui flux digital este viteza de transmisie (procesare), măsurată în biți/s Referitor la această caracteristică Se poate presupune că cea mai bună reprezentare digitală este cea care oferă cea mai mică rată de transmisie pentru o eroare pătratică medie dată Valoarea minimă a acestei mărimi se numește entropia epsilon a reprezentării digitale a procesului aleator sau pur și simplu entropia epsilon a procesului aleator Cr Epsilon-entropia procesului aleator C£ este epsilon-entropia entropia de cuantizare pe unitatea de timp În cazuri reale, condiția uP > Ct trebuie îndeplinită, iar egalitatea vP = Ct poate fi atinsă doar cu biți echiprobabili și reciproc independenți ai fluxului digital Astfel, problema determinării epsilon-entropiei unei reprezentări digitale se reduce la determinarea performanței sursei С£ corespunzătoare epsi entropia singură pe unitatea de timp Dacă procesul aleatoriu este staționar, atunci pentru a rezolva această problemă, putem folosi expresia ( ) transformată în forma dC = minlog df GffV Pentru intervale mici df ale intervalului de frecvență al spectrului unui proces aleatoriu, sunt valabile următoarele egalități: ( , ) ds = G, (f)df, unde G$(f) este densitatea spectrală a procesului; SD/) - diagramă spectrală zgomotul reprezentării digitale; este dispersarea mesajului în inter- df Integrând egalitatea ( ) cu ( ) și ( ) luate în considerare, obținem ( , ) C = min log sw și fx > sunt frecvențele spațiale Similar cu ( ), entropia epsilon per unitate de imagine niya, poate fi definit ca ( , ) unde (eu) densitatea spectrală bidimensională a zgomotului de cuantizare, cond care îndeplinește condițiile de normalizare, SO oh oh ( , ) precum și starea ( , ) Rezolvând în ( ) problema variațională a determinării funcției extreme GĂfX'f n)= JJ co este egal cu ( , ) Înlocuind ( ) în ( ), se poate obține formula epsilon-entropie și simultan din condiția de normalizare ( ) pentru densitatea spectrală ( ) expresie pentru eroarea pătratică medie Ca rezultat, avem parametrii sistem de ecuații de formă ( , ) Aici C£ este entropia epsilon per element de imagine cu o zonă de /a Pe fig este un grafic al entropiei epsilon C£ față de s Parametrul a conform ( ) este determinat de caracteristicile spectrale sursă de informații video și pentru schimbarea lent a imaginilor acesteia valoarea este de obicei în a = [ ] Orez Dependența epsilon-entropiei reprezentării digitale a informațiilor video С£ OT £ Dacă setăm timpul alocat pentru transmiterea unui element de imagine cu o zonă de /a , atunci vom obține dependența ratei minime de transfer de informații de pătratul mediu dat al erorii Având în vedere dependența cu o singură valoare a lui Ct de e , graficul din Fig poate fi inversat și se poate obține din acesta dependența valorii minime a pătratului mediu al erorii de viteza de procesare (transmitere) a informațiilor video Această dependență poate fi utilizată pentru a evalua perfecțiunea diferitelor metode de procesare a imaginilor digitale Strategie continuă de codificare sursă Determinarea strategiei de codificare a surselor continue în condiții moderne, când natura conceptului de "entropie a surselor continue" și conținutul său real nu este încă clar definită, pare a fi o sarcină destul de dificilă În această situație, puteți face următoarele Presupunând aceeași natură a surselor continue și discrete, luați ca bază strategia deja cunoscută de codificare a acestora din urmă și transformați-o ținând cont de specificul surselor continue Pe baza acestui fapt, presupunem că baza strategiei de codificare pentru sursele continue este: • asigurarea unor lungimi minime Пі de cuvinte cod care permit furnizarea de informații sursă cu o acuratețe dată; • reducerea redundanței informațiilor sursă în procesul de codificare Aplicarea acestei strategii pentru sursele continue relevă mai multe opțiuni posibile pentru transformarea ei Opțiunea Reprezentarea digitală a unei surse continue și aplicarea ulterioară a metodelor de compresie deja cunoscute implementate la codificarea surselor discrete Opțiunea Transformarea unei surse continue de informații într-o sursă continuă cu mai puțină redundanță și reprezentarea digitală ulterioară a acesteia Opțiunea Reprezentarea digitală a unei surse continue, care asigură comprimarea simultană a informațiilor Astfel, este posibil să se evidențieze variante ale strategiei de codare pentru sursele continue Prima opțiune implică reprezentarea unei surse continue S sub forma unor virtuale (cf condiţiile) unei surse discrete X şi aplicarea strategiei de codificare a surselor discrete la acestea din urmă (Fig ) Orez Prima strategie de codare În acest caz, o sursă virtuală discretă este înțeleasă ca o sursă discretă care este posibilă sub condiția unei reprezentări digitale a informațiilor dintr-o sursă reală A doua opțiune implică așa-numita comandă a mesajelor continue, care asigură comprimarea (comprimarea) a acestora în timpul transmiterii și extinderea (recuperarea) în timpul recepției Comprimarea mesajului sursei S în acest caz poate fi interpretată ca transformarea ei într-o sursă virtuală continuă Z, iar sarcina de codificare poate fi considerată ca o sarcină de reprezentare digitală a acestei surse (Fig ) În acest caz, o sursă continuă virtuală este înțeleasă ca o anumită sursă continuă, care este posibilă sub condiția comprimării informațiilor dintr-o sursă reală Orez A doua variantă a strategiei de codare A treia opțiune este comprimarea digitală a mesajelor continue generate de sursă Prin compresare digitală înțelegem o reprezentare digitală care rezolvă simultan problema compresării compresie (compresie) în timpul transmisiei și extinderea în timpul recepției În acest caz, strategia de codare continuă a sursei va fi caracterizată prin comprimarea secvenței de operații care alcătuiesc convertorul digital ing (Fig ) Compania digitală A Compania digitală Codificare prin compresie Prelevare de probe cu compresie Cuantizare cu compresie sursă continuă b Orez A treia variantă a strategiei de codare Cele două direcții din această versiune a strategiei (Fig ,a și Fig ) sunt explicate prin două variante posibile de reprezentare digitală care au fost luate în considerare mai devreme (vezi Fig și ) În același timp, strategia în ansamblu nu impune restricții privind utilizarea compresiei în operațiunile acestor transformări digitale Compresia poate fi aplicată separat în una, mai multe, în toate operațiunile, precum și într-un complex pentru diverse combinații de operații de conversie digitală Acest lucru explică varietatea de metode de comprimare digitală binecunoscute utilizate pentru a comprima informațiile atunci când se codifică surse continue Astfel, utilizarea digitalului compresia la operații de cuantizare și eșantionare duce la metoda PCM diferenţială (DPCM), iar la operaţii de codificare și cuantificare - la metode de codare diferenţială și altele asemenea Raționamentul de mai sus arată că pentru sursele continue, spre deosebire de cele discrete, este posibil să se aleagă cel puțin trei opțiuni principale pentru strategia de codificare (Fig ), ceea ce deschide un domeniu larg de activitate pentru căutarea și dezvoltarea de noi metode de codare Fig Strategii pentru codificarea surselor continue de informare Cu toate acestea, trebuie amintit că în acest caz se pune întotdeauna problema incertitudinii conceptului de redundanță pentru sursele continue, ceea ce face dificilă evaluarea eficacității la alegerea uneia sau a altei opțiuni de strategie Limite de redundanță a informațiilor Teorema de codificare pentru surse continue Problema incertitudinii conceptului de redundanță pentru sursele continue este că formula binecunoscută care determină redundanța surselor discrete în acest caz își pierde sensul fizic Acest lucru se explică prin faptul că valorile absolute ale entropiilor surselor continue din punctul de vedere al teoriei informațiilor sunt valori infinite O încercare de a rezolva această problemă prin introducerea conceptului de entropie diferențială (relativă) și definirea redundanței ca B[S] = hmax[S]-h[S] la prima vedere elimină această incertitudine Într-adevăr, dacă luăm în considerare Hmax[S] = hmax[S] + A și H[S] = h[S] + A, atunci diferența ( ) va duce la o valoare bine definită ( ) Cu toate acestea, în acest caz, se dezvăluie o altă problemă, nu mai puțin semnificativă: cum să determinați împărțiți hmax[$] pentru surse continue? Această problemă încă așteaptă soluția finală Până acum, direcția cea mai productivă a acestei soluții este identificarea lui ^max[$] cu entropia sursei de zgomot alb gaussian, a cărei putere de entropie este egală cu puterea de entropie a sursei Din păcate, această direcție este asociată și cu o serie de dificultăți care nu permit obținerea unei soluții definitive În plus, o incertitudine suplimentară în expresia ( ) este introdusă de faptul că entropia diferenţială poate lua valori negative Este destul de înțeles că dificultăți similare vor însoți încercările de a determina redundanța de codare pentru sursele continue Incertitudinea entropiei absolute H[S] a acestor surse conduce la imposibilitatea folosirii formulei binecunoscute pentru surse discrete în acest scop: R(f,S) = C(f,S) - H[S] ( , ) În acest caz, trecerea la entropia diferenţială în ( ), adică R(f,S) = C(f,S)-h[S], ( - ) nu ne permite să vorbim cu suficientă certitudine despre identitatea lui R(/JS) și R'(/JS), așa cum a fost cazul la trecerea de la ( ) la ( ) pentru B[S] Costul codificării C(£S) în ( ) prin definiție C(f, S) = ', j P(s)ds k=I este o mărime finită, care pune la îndoială ipoteza că A -> oo poate fi compensată în H[S] = h[S] + A trecând de la ( ) la ( ) Alegerea expresiei ( ) pentru R'(S) ca bază pentru determinarea redundanței de codare pare a fi o cale destul de logică de ieșire din această situație Entropia diferenţială h[S] în acest caz este o valoare finită şi rămâne doar să găsim o justificare fizică pentru valoarea R'(S) Cu toate acestea, tocmai aici apar o serie de probleme care fac perspectiva unei astfel de justificări foarte vagă În primul rând, entropia diferenţială h[S], spre deosebire de entropia surselor discrete, poate lua valori negative Astfel, expresia ( ) presupune inițial un rezultat când R'(S) poate deveni o valoare negativă, iar aceasta necesită deja nu numai o explicație fizică, ci și o explicație filozofică Chiar dacă se găsește această explicație, care este foarte îndoielnică, va mai fi o problemă După cum sa menționat deja, o caracteristică a reprezentării digitale a surselor continue este nestaționaritatea obligatorie a rezultatelor reprezentării Ca rezultat, este destul de rezonabil să ne așteptăm la o schimbare a valorii lui R'(S) în timp, ceea ce pune la îndoială însăși oportunitatea utilizării sale ca caracteristică a procesului de codificare a surselor continue Rezumând cele de mai sus, putem ajunge la o concluzie destul de dezamăgitoare că abordarea avută în vedere anterior pentru estimarea eficienței de codificare a surselor discrete se confruntă încă cu dificultăți insurmontabile atunci când încearcă să o aplice la rezolvarea unor probleme similare pentru sursele continue Aparent, această concluzie este, într-o măsură sau alta, cea care determină interesul științific semnificativ care s-a manifestat recent în căutarea unor noi abordări netradiționale pentru a determina redundanța codării surselor continue Una dintre aceste abordări este discutată mai jos Baza abordării propuse este reprezentarea unei surse continue sub forma unei surse virtuale discrete Legitimitatea unei astfel de reprezentări determină prima variantă a strategiei de codificare (vezi Fig ), unde formarea unei surse virtuale discrete este considerată ca una dintre etapele codificării Entropia H[X] a unei astfel de surse poate fi determinată din expresie I[S;X] = h[S] - h[S/X] = H[X] - H[X/S], ( , ) unde I[S;X] este cantitatea medie de informații despre mesajele s(Z) care alcătuiesc ansamblul S în secvențele de cod x^ ale ansamblului X; H[X] - en tropia ansamblului discret X; H[X/S] este incertitudinea medie x^ pentru s(Z) cunoscut Entropia condiționată H[X/S] este caracterizată în mod unic de incertitudinea medie a deciziei despre domeniul de cuantizare pentru s(Z) cunoscut Pe baza acestui fapt, cu o operație de cuantificare deterministă și fără distorsiuni la intrarea cuantificatorului (ceea ce este tipic pentru majoritatea problemelor de codificare a surselor continue), această entropie va fi egală cu zero (H[X/S]= ) În acest caz, expresia ( ) ia forma I[S;X] = h[S] -h[S/X] = H[X] ( , ) Caracteristicile considerate anterior ale reprezentării digitale a unei surse continue S sugerează că entropia H[X] se poate schimba în timp și, de asemenea, depinde puternic de parametrii de eșantionare, cuantizare și codificare În analiza informațională a reprezentării digitale, această problemă a fost rezolvată prin introducerea conceptului de "epsilon-entropie", care caracterizează cantitatea medie minimă de informații necesare restabilirii unui mesaj continuu cu o acuratețe dată epsilon (e ) Folosind această abordare, expresia ( ), ținând cont de ( ), poate fi transformată în forma h[S] = H£ + maxh[S/X], ( , ) e unde He este entropia epsilon de cuantizare; maxh[S/X] - pierderi maxime e reprezentări digitale care sunt admisibile pentru o precizie dată e Înlocuind ( ) în ( ), obținem: R (f,S) = C(f,S) - Nu - maxh[S/X] ( , ) e Entropia condiționată h[S/X] din expresia ( ) nu depinde de codul f utilizat Acest lucru oferă motive pentru a utiliza o caracteristică mai practică pentru estimarea eficienței de codare f a surselor continue, care poate fi obținută din ( ) după cum urmează: R/(f,S) = R'(f,S) + maxh[S/X] = C(f,S) - HE ( , ) Să numim această caracteristică redundanța relativă a codificării f a unei surse continue pentru o acuratețe dată a reprezentării digitale niya £ Este ușor de observat că expresia ( ) este valabilă numai pentru cazul în care mesajele sursă sunt variabile aleatoare continue Generalizarea lui pentru cazul proceselor aleatoare ne permite să ajungem la o expresie a formei Rs(f,S) = CT(f,S)-Ce ( , ) Aici Ce este epsilon-entropia procesului aleator, pentru care, în funcție de tipul sursei reale, se pot folosi expresiile ( ) sau ( ) obținute anterior Costul codificării CT(f,S) în cazul unei surse staționare, precum și cu parametrii constanti de cuantificare și eșantionare, poate fi determinat ca L CT(f>S)=-lX fp(r)ds- A= d(^- ) Expresia rezultată ( ) pentru redundanța relativă a codificării ne permite să oferim o interpretare fizică destul de simplă a acestui concept Arată cât de mult depășește numărul mediu de simboluri binare pe unitatea de timp la ieșirea codificatorului sursă valoarea minimă admisibilă Ce, necesară pentru a asigura acuratețea specificată a reconstrucției mesajelor continue În acest caz, valorile negative ale Rg(f,S) vor arăta că codificarea f duce la pierderea informațiilor referitoare la PRECIZITATEA dată Teorema Teorema de codificare pentru surse continue Fie date sursa staționară S și acuratețea s a restaurării mesajelor continue după reprezentarea digitală Apoi: Pentru fiecare sursă staționară S și o precizie dată e de recuperare continuă a mesajului, există un cod T? care oferă modul redundanță relativă nenegativă arbitrar mică a codării, adică >Rs(f ,S)> Pentru o sursă staționară arbitrară, se poate găsi un cod f care oferă o redundanță relativă negativă de codare Atunci, dacă Rg(f,S) Din ( ) rezultă că această inegalitate este satisfăcută cu condiția l ( , ) JP(s) El £= Partea stângă a ( ) poate fi interpretată ca lungimea medie Pk a secvențelor de cod obținute ca urmare a codificării f a valorilor cuantificate ale variabilei aleatoare s Partea dreaptă a ( ) reflectă numărul minim permis de simboluri binare într-o combinație de cod, care asigură totuși precizia dată £ S-a stabilit anterior că valoarea limită superioară a lui He pentru setul de posibile surse de variabile aleatoare este determinată de valoarea log L , unde L este numărul de niveluri de cuantizare Având în vedere acest lucru, ( ) poate fi reprezentat ca PC > log L Se știe [ ] că reprezentarea digitală a surselor reale necesită îndeplinirea inegalității L> Astfel, putem presupune că îndeplinirea ( ) necesită un cod f a cărui lungime medie a combinațiilor este nk >log = Analiza anterioară a codurilor utilizate pentru comprimarea informațiilor discrete arată că un astfel de cod există întotdeauna Generalizarea rezultatelor obținute pentru cazul surselor staționare ne permite să afirmăm că există un cod care asigură îndeplinirea inegalității CT(f,S)>Cc ( , ) În acest caz, nu sunt impuse restricții cu privire la îndeplinirea egalității din ( ), ceea ce indică existența unui cod ț> a cărui redundanță relativă a codării Re(f ,S) = Aceasta este ceea ce s-a cerut să fie demonstrat Pentru a demonstra a doua parte a teoremei, observăm că în acest caz, la codificarea f pe unitatea de timp, se transmite mai puțină informație decât este necesară pentru a asigura acuratețea dată în , adică se pierde informații Apoi, ținând cont de faptul că neîndeplinirea condiției ( ) duce la redundanță relativă negativă în ( ), putem concluziona în sfârșit că inegalitatea Rg(f,S) , atunci egalitatea ( ) va indica întotdeauna fără ambiguitate îndeplinirea ( ) Q E D Din punct de vedere fizic, criptogramele generate în timpul amestecării analogice pot fi considerate ca rezultat al distorsiunii mesajelor sursă continue de către un zgomot continuu ipotetic de amestecare, ale cărui caracteristici sunt determinate de elementele unui ansamblu de chei discrete Pe baza acestui fapt, teorema dovedită ne permite să determinăm condițiile în care este exclusă posibilitatea decriptării criptogramelor în timpul accesului neautorizat, adică atunci când cantitatea medie de informații despre mesaje din criptograme tinde spre zero Corolarul Fie s și Q variabile aleatoare care alcătuiesc spațiile de eșantion ale ansamblurilor de mesaje și respectiv criptograme și fie cr varianța efectului de distorsionare asupra mesajului în timpul procesului de amestecare Apoi, cantitatea medie de informații despre mesaje din criptograme în timpul amestecării analogice va tinde spre zero dacă varianța σ tinde spre infinit, adică de-> oo Dovada Introducem o serie de simplificări care nu afectează generalitatea dovezii Vom presupune că mesajele sursă au o lege de distribuție gaussiană și, de asemenea, că mesajele și criptogramele nu sunt legate statistic de elementele ansamblului de chei discrete Astfel, ținând cont de aproximarea gaussiană, mesajele pot fi reprezentate ca o variabilă aleatorie gaussiană cu medie zero, varianță σ și densitate probabilitati de forma: ( , ) Pe baza independenței statistice a mesajelor și criptogramelor față de elementele unui ansamblu de chei discrete, efectul de distorsionare asupra mesajului în procesul de amestecare poate fi considerat aditiv sub forma unei variabile aleatoare gaussiene cu valoare medie zero, varianța c Atunci densitatea de probabilitate condiționată a criptogramelor, cu condiția ca mesajele să fie date, are forma ( , ) Deoarece criptogramele în acest caz sunt reprezentate ca sumă a două Variabile aleatoare gaussiene, ele pot fi considerate și ca o variabilă aleatoare gaussiene cu varianță σ + σ și densitate de probabilitate Expresiile ( ) și ( ) ne permit să determinăm condiția diferențială entropia generală pentru ansamblurile S și E: h [E/S]= - (s, ) Jp (e/s, )logP (e(/s, )deidsi = -loge e JSbx Q E D Să demonstrăm validitatea ( ) pentru varianta j JEbx Q E D Analiza comparativă a expresiilor ( ) și ( ) arată că DPCM cu extrapolare în funcție de valorile anterioare ale ieșirii xC asigură o compresie mai mare în comparație cu DPCM, unde extrapolarea se realizează conform valorilor curente x^\ din prezența în partea dreaptă a ( ) a în comparație cu ( ) a cantității totale de informații suplimentare x^ cu y lovia sf Cu DPCM combinat, probabilitatea poate fi reprezentată ca Cantitatea de informații de ieșire poate fi reprezentată ca Evyh n |- w și =Jz"+EJ xi-i)/s> +EJ %•/s -xS-i +EJ -i/ %xx Z= = = ( , ) În comparație cu ( ), partea dreaptă a ( ) include suplimentar cantitatea totală de informații sbl în condiția s , s și x^J Acesta este momentul în care unul un număr mai mare de caractere în x^ indică un grad mai mare de compresie informații decât cu DPCM convențional Astfel, se poate concluziona că DPCM asigură compresie sursă continuă de informații de către: - reducerea numărului de caractere din secvențele de cod de ieșire ca urmare a codării diferențiale; - creşterea cantităţii totale de informaţii despre stările sursei prin extrapolarea intrării din secvenţele de cod de ieşire În același timp, utilizarea DPCM combinată face posibilă asigurarea unui grad mai mare de compresie Transformări discrete Wavelet Ideea transformărilor wavelet discrete (Discrete Wavelet Transform sau DWȚ) constă în faptul că din mesajele x primite în timpul discretizării și cuantizarea mesajelor continue s(/) ale sursei S, se formează informații despre așteptarea matematică și abaterea medie a stărilor acestei surse la intervale de eșantionare Astfel, informația mesajului xr suferă două tipuri de transformări: - aspru g = fr (хрх/+ ), care constă în determinarea informațiilor despre așteptarea matematică a stărilor sursei S pe intervalele ; - h suplimentare = £q(x ,x + ), care constă în formarea de informații despre abaterea medie a stărilor sursei S pe intervalele de discretizare Funcțiile fr(x ,xj+ ) și £g(хрх/+ ) în fiecare caz specific sunt date de metoda DWT aplicată și sunt prezentate în mod tradițional ca caracteristici ale unor tipuri corespunzătoare de filtre: - Filtre LF (Hear Low Pass Filter), realizând conversie brută; - Filtre High Pass (Hear High Pass Filter) care efectuează conversii suplimentare Rezultatul unei transformări suplimentare poate fi supus ulterior unei prelucrări similare Astfel, în transformarea wavelet, în cazul general, secvența x ,x ,x , ,xfî obținută ca urmare a discretizării și cuantizării mesajului s( ) se transformă într-o secvență de valori g ,h ,g ,h , ,gfo,hn valorile g si H Această secvență de ieșire se numește coeficienții transformării wavelet Teorema Dacă x ,x ,x , ,x/, ,xi este o secvență obținută prin discretizarea și cuantizarea mesajului s( ) al unei surse continue S, atunci transformarea wavelet a acestei secvențe va crește cantitatea totală de informații, adică JSbmx > JEbx , unde JSbx și JlKbix - cantitatea totală de informații înainte și după transformarea wavelet respectiv Dovada În transformarea wavelet, secvența x , xpx , , xl este transformată într-o secvență de coeficienți g , h , g ; hj g", h", care este definit ca g, =fr(x, ,x, + ) și hf = f"(xpxM) Ținând cont de natura deterministă a funcțiilor f și fr, putem presupune că p(g,) = />(х"х, ) și p(h,) = p(x(,x(+ ) Apoi cantitatea de informații din g si H poate fi definit ca Expresiile de mai sus fac posibilă obținerea unui sistem de ecuații care reflectă care conţine imaginea informaţională a secvenţei de coeficienţi obţinute elemente de conversie wavelet: ( , ) Din sistemul de ecuații ( ) urmează o expresie analitică pentru cantitatea totală de informații după transformarea wavelet: p- p- Jzbmx = J[Xo] + LJ[XJ + LJ[X"/XJ + І?[X JYky cantitatea de informații nu poate fi refuzată Ce s-a cerut zat Dovada teoremei arată că transformarea wavelet generează informații suplimentare care pot îmbunătăți potențial acuratețea recuperării continue a informațiilor Din punct de vedere fizic, acest lucru se explică prin faptul că la calcularea coeficienților transformării wavelet se determină așteptarea matematică și abaterea medie starea unei surse continue la intervale de eșantionare, ceea ce face posibilă, într-o anumită măsură, compensarea pierderii de informații care se produce la discretizare Analiza expresiei ( ) sugerează validitatea practic important a-a consecință Corolarul Dacă transformarea wavelet generează numai coeficienți pare g și h , apoi cantitatea totală de informații ieșite secvența out nu va fi mai mică decât numărul total de informația JSbx, adică inegalitatea >J Evyh Evh ( , ) întotdeauna și numai întotdeauna, când mesajul original xn va fi inclus în secvența generată de coeficienți Dovada Când se formează numai coeficienți pare ai transformării wave-let, sistemul de ecuații ( ) se reduce la două forme de reprezentare, în funcție de paritatea numărului de mesaje n\ ) dacă n este impar: ( , ) ) dacă n este par: ( , ) Pe baza ( ) și ( ), expresia ( ) pentru suma totală informația după transformarea wavelet ia forma Evh Evyh Evh +ZJ[x>+i/x J + jJ[x/xi+i]' dacă u-impar, adică + ZJ[xm/x-] + LJ[x-/xm] - J[x"], dacă i-par, i +i /xJ+E x/ x-+i] - x"] • ( - ) adică i +i]-j[xo]; geI-'i zfH'i JZ X + ZJ[XM/XJ + LJ[X-/X"] J[XO]-J[XJ- ( , ) Din ( ) rezultă că ( ) este întotdeauna satisfăcută sub condiția ZJ[x>+i / хі] + ZJ[xi хх] J[xo] + J[x J ' ( - ) adică Wi unde pentru un număr par și această constrângere este relaxată la ZJ[x>+i/xJ+ZJ[xi/x ST formate este că cele mai mari valori ale acestora corespund componentelor de joasă frecvență În acest caz, numere relativ mici corespund componentelor de înaltă frecvență De obicei, mai mult de jumătate din coeficienții obținuți ca urmare a DCT sunt zero sau au valori foarte mici Ele pot fi aruncate fără durere sau cel puțin rotunjite la cel mai apropiat număr întreg Această caracteristică formează baza procedurii de compresie pentru spectrele DCT, care este definită ca cuantizare Cuantizarea în acest caz constă în împărțirea fiecărui coeficient DCT la un număr în funcție de matricea de cuantizare Această matrice poate fi fixată sau, pentru o compresie mai bună și mai eficientă, poate fi formată ca urmare a analizării naturii imaginii originale Cu cât sunt mai mari numerele cu care are loc împărțirea, cu atât mai multe valori zero vor rezulta din împărțire, ceea ce înseamnă că compresia este mai puternică și pierderea este mai semnificativă Astfel, atât eficiența compresiei - numărul de zerouri din spectrul cuantificat - cât și calitatea reconstrucției mesajului continuu original vor depinde în mare măsură de alegerea tabelului de cuantizare Metodele DCT au găsit o aplicație largă în rezolvarea problemelor de comprimare a informațiilor video (imagini), făcând posibilă obținerea unui spectru de bloc mai mult sau mai puțin distorsionat al unei imagini codificare fractală Ideea de codificare fractală (compresie) se bazează pe ipoteza că în orice imagine este posibil să se detecteze auto-asemănarea locală a diferitelor sale părți Conceptul de fractal (fractus - format din fragmente, lat ), care definește o parte a unei imagini, a fost propus de matematicianul B Mandelbrot în pentru a desemna structuri neregulate, dar auto-asemănătoare Una dintre principalele proprietăți ale fractalilor este auto-asemănarea, ceea ce în cel mai simplu caz înseamnă că o mică parte a fractalului conține informații despre întregul fractal Metodele fractale consideră auto-asemănarea ca o sursă de redundanță Se crede că auto-asemănarea este o proprietate a aproape tuturor obiectelor naturale și, prin urmare, eliminarea acestei forme de redundanță poate reduce semnificativ cantitatea de informații necesare pentru a descrie un obiect natural sau imaginea acestuia Dintre marea varietate cunoscută de fractali, cel mai aplicabil tip de fractali sunt fractalii bazați pe sistemul de funcții iterative IFS (Iterated Function Systern), care sunt transformări afine tridimensionale care transferă o imagine în alta (coordonată punct X, imagine) coordonata punctului Y și luminozitatea punctului ) Metodele IFS în legătură cu construcția imaginilor fractale constau în modelarea unei imagini cu câteva fragmente mai mici ale acesteia prin aplicarea de ecuații (funcții) speciale care vă permit să transferați, rotiți și modificați scara secțiunilor de imagine în așa fel încât aceste secțiuni să servească ca elemente de bază ale modelului de imagine format Pe baza acestui fapt, metodele existente de compresie fractală, de regulă, aderă la următoarea schemă de codificare: Imaginea codificată este împărțită într-un set de blocuri care nu se suprapun (zone de rang) Pentru fiecare zonă de rang din cadrul aceleiași imagini, se caută un bloc (domeniu) mai mare, ai cărui pixeli, prin intermediul unei transformări a rangului dat de mai mulți coeficienți ar fi convertiți în pixeli ai zonei de rang Din transformările care transferă domenii în zone de rang, se formează o mapare care transferă imaginea într-un model de imagine Codul imaginii este locația și dimensiunea zonelor de rang, precum și coeficienții de transformări care descriu autoasemănarea în cadrul imaginii Pentru a evalua eficiența codificării fractale, de regulă, raportul de compresie este utilizat ca raport dintre reprezentarea de biți a imaginii și reprezentarea de biți a codului Reconstituirea imaginii astfel codificate se bazează pe principiul mapărilor comprimate, care constă în faptul că maparea contractantă, acționând într-un spațiu metric complet, are un singur punct fix O mapare care acționează asupra întregului spațiu metric al imaginilor este formată din transformări care transferă domenii în regiuni de rang Punctul fix al unei astfel de mapări (presupunând că este contractiv) va fi imaginea reconstruită Fie ca imaginea să fie împărțită în N regiuni de rang Rh pentru fiecare dintre acestea domeniul corespunzător și transformarea w, date de coeficienții (cn,c/ , ,c^) se găsesc astfel încât pentru fiecare r&R} să existe astfel încât r= Wi(d) Uniunea mapărilor este W\ ^(i)=uU ) i Deoarece fiecare transformare se traduce în y, atunci ^(^) = • Transformările trebuie să fie compresive, adică astfel încât pt pentru toate di, d^Di, inegalitatea , Unde Z • • , unde хА = xlk xNk, probabilistic măsura alfabetul D=^t/X ) cu probabilități de litere La transmiterea în canal sub influența influenței distorsionante a interferenței, ansamblul X este transformat într-un ansamblu de secvențe de cod la ieșirea canalului Y Acest ansamblu este determinat de spațiul eșantionar p(uMz) și \ L / ' * identic cu ansamblul X, alfabet =^ ^) În timpul decodării, se formează un ansamblu de mesaje ale destinatarului informațiilor formațiunea V cu spațiul eșantion I ѵі?ѵ "*ѵm I, unde - (vu v£ fc), \ /k măsură de probabilitate (р(ѵі)-р(ѵм )) și alfabetul A - Astfel, procesul de transmitere a informațiilor de la sursă către destinatar poate fi reprezentat ca un lanț de modificări secvențiale în ansamblul mesajelor sursă: U - X - Y - V O astfel de reprezentare este foarte convenabilă ca bază pentru descrierea ulterioară a procesului de transmitere, având în vedere aceste informații Principalele caracteristici care sunt utilizate în mod obișnuit pentru aceasta sunt entropia, entropia condiționată și cantitatea medie de informații În acest caz, se formează un potențial fundamental pentru afișarea dinamicii procesului de transfer, care se reflectă în general în următorul lanț de transformări (Fig ) ig = (uli uL ) X = (Xli xNi) Y, - (Uz-Uyi) l -r-X >-pC>d-X^ I f Distorsiunea în f " Codificare canal Decodare (zgomot) Orez Lanțul de transformări ale procesului de transfer de informații La fiecare z-al-lea interval de timp Г, sursa de informații generează un mesaj u( ^) = u , corespunzător ansamblului de mesaje al sursei U Ca urmare a codificării f, acest mesaj este convertit într-o secvență de cod ( combinație de coduri) x , corespunzătoare ansamblului X În timpul transmisiei, combinația de coduri x este supus distorsiunii și convertit într-un cuvânt de cod Y, corespunzător ansamblului Y de cuvinte de cod la ieșirea canalului Combinația de cod U/ este decodificată-P-i , rezultând formarea unui mesaj legat de ansamblul V, care este emis destinatarului informaţiei Transmiterea informațiilor este considerată ideală dacă mesajul primit este ѵ corespunde în mod unic u-ului transmis, adică ѵ,- = u* pentru toate i Dacă această condiție nu este îndeplinită, atunci pentru a estima gradul de aproximare la varianta ideală a transferului de informații se introduce probabilitatea Pe că și și v nu se potriveste: Pe = ZZ />(u, v) uv^u Transmiterea informațiilor care furnizează valoarea minimă a lui Re în condiții de transmisie date este considerată optimă Modelul matematic general al transferului de informații din punct de vedere al schemei (Fig ) este definit ca I[U;V] = H[U]-H[U/V], ( , ) unde I[U;V] - este cantitatea medie de informații despre mesajele ansamblului U conținute în mesajele primite ale ansamblului V; n[u] este entropia ansamblului de mesaje al sursei de informații; Н[u/V - entropia condiționată care caracterizează cantitatea medie de informații care nu este suficientă pentru a lua o decizie fără ambiguitate cu privire la mesajul transmis al ansamblului U după primirea mesajului corespunzător al ansamblului V Reprezentarea proceselor de transfer de informații, în care informația este măsurată în biți, se numește reprezentare binară Într-un număr de cazuri importante din punct de vedere teoretic, devine necesară utilizarea logaritmilor naturali, ceea ce înseamnă măsurarea informațiilor în nat Reprezentarea proceselor de transfer de informații, în care informația este măsurată în nat, este considerată o reprezentare naturală Entropia condiționată H[u/V] caracterizează pierderea de informații în timpul transmiterii acesteia de la sursă la destinatar Astfel, problema optimizării modelului matematic general ( ) se reduce la reducerea valorii H[U/V la valoarea minimă posibilă în condiții date de transmitere a informațiilor În acest caz, domeniul de definire a valorilor lui n[u/v pentru condițiile date de transfer de informații este în mod necesar stabilit Teorema Fie UV un ansamblu comun în care spațiile de probă V și U constau din aceleași elemente M Fie P probabilitatea ca mesajele transmise și nu sunt egale cu ѵ, Apoi H[U/V] M Pentru a caracteriza gradul preferat al acestui exces, vom folosi reprezentarea spațiilor eșantionare ale ansamblurilor implicate în procesul de transmitere a informațiilor sub forma anumitor câmpuri, și codificare și decodare - acțiuni asupra acestor câmpuri (Fig ) A poleh poleu (câmpuri câmp și M = Codificare = - ° Decodare b Orez Codificarea canalelor ca acțiuni pe câmpuri: detectarea erorilor (a); remedieri de erori (b) Din raționamentul de mai sus rezultă că câmpurile corespunzătoare ansamblurilor X și Y trebuie să conțină mai multe elemente decât câmpurile corespunzătoare ansamblurilor U și V Atunci unele dintre elementele câmpurilor X și Y corespund în mod unic elementelor câmpurilor U și V Aceste elemente se numesc permise ( sunt marcate cu un semn Unele elemente nu corespund cu niciunul dintre elementele câmpurilor U și V Aceste elemente sunt considerate interzise (indicate printr-un semn) că combinația de coduri a câmpului Y nu este permisă (II), atunci se ia o decizie de eroare Din Fig , a se poate observa că pentru a detecta erorile, numărul de elemente din câmpul X trebuie să fie de cel puțin de două ori numărul de elemente ale câmpului U, adică Af > M Desigur, aceasta păstrează probabilitatea ca, atunci când este distorsionată, combinația de cod permisă să fie convertită într-o altă combinație permisă și eroarea să nu fie detectată Cu toate acestea, prin alegerea unei metode de codare, această probabilitate poate fi redusă la o valoare arbitrar mică Pentru corectarea erorilor detectate este necesar ca elementele permise ale câmpurilor X și Y să fie separate de cel puțin două interzise (Fig ) Acest lucru, într-o anumită măsură, înlătură incertitudinea în a decide care combinație permisă a fost distorsionată Deci, dacă în timpul procesului de decodificare se constată că combinația de cod a câmpului Y este interzisă (III), atunci se ia decizia că a fost transmisă cea mai apropiată combinație de cod permisă de acesta și mesajul câmpului V corespunzător acesteia este Astfel, raportul dintre numărul de elemente ale câmpului M U și numărul de elemente ale câmpului X, permițând corectarea erorilor, este definit ca > M Reprezentarea proceselor de codificare și decodare sub formă de acțiuni pe câmpuri sugerează oportunitatea determinării distanțelor dintre elementele câmpului Această distanță se numește distanță de cod Distanța de cod dintre secvențele de cod de aceeași lungime este numărul de caractere (litere) care nu se potrivesc în pozițiile corespunzătoare De obicei, distanța codului se numește distanța Hamming sau distanța Hamming și se notează ca x )= Mesajele (cuvintele) și secvențele de cod implicate în procesul de transmitere a informațiilor pot fi de lungime constantă (același număr de litere) și de lungime variabilă (număr inegal de litere) Aceasta definește următoarele tipuri de codare de corectare a erorilor: - codificare corectoare de erori de tip VV, în care lungimea mesajelor (cuvintelor) sursei C este constantă, D = L = const, iar lungimea secvenţelor de cod corespunzătoare x, este variabilă, Nt Ф const; - codare corectoare de erori de tip BB, unde sunt fixe D \u d L \u d const și N \u d V \u d const; - codificare corectoare de erori tip VB, în care D f const, Nț =V=const; - codare corectoare de erori de tip VV, unde D' - const, și N= V=const i Primele două tipuri de codare, VV și BB, sunt de obicei denumite codare bloc Caracteristica principală a acestui tip de codare este codificarea mesajelor de lungime constantă În acest caz, dacă mesajele (cuvintele) sursei au o lungime arbitrară, atunci din ele se formează blocuri de lungime constantă Z, care sunt apoi codificate Acest lucru explică în mare măsură numele dat acestui tip de codificare De regulă, la analiza proceselor de transmitere a informaţiei se ia ca bază codificarea în bloc de tip BB, cu generalizarea ulterioară a rezultatelor obţinute la alte tipuri de codare Această tehnică a fost suficient de complet testată în surse educaționale și științifice și este bine recomandată ei înşişi atât din punct de vedere metodologic cât şi ştiinţific Prin urmare, în viitor va fi folosit ca bază și, dacă este necesar, se vor face generalizări la alte tipuri de codificare Codurile bloc sunt de obicei notate ca (M - - coduri În plus, având în vedere ideologia digitală a construirii sistemelor moderne de transmitere a informațiilor, vom presupune că alfabetele ansamblurilor U, X, Y și V sunt binare (w = , w ) = ) Din aceasta rezultă că numărul de elemente din spațiul eșantion al ansamblului U al sursei mesajului va fi definit ca M = L, iar numărul de elemente din ansamblul X de secvențe de cod ca M = N Totuși, acest lucru nu exclude luarea în considerare, dacă este necesar, a ansamblurilor cu alfabete având un număr diferit de litere Este ușor de observat că reprezentarea procesului de transfer de informații luat în considerare este încă statică Pentru a-i da dinamică, de obicei este introdus conceptul de "viteză de codare" Rata de codificare este raportul dintre informații capacitatea sursă per mesaj Hmax[U] la numărul de simboluri N din secvențele de cod formate ca rezultat al codificării: D NshahM N SIMBOL ( , ) Înlocuind în ( ) expresia pentru Hmnx [U] ? dat fiind că = , primim log M simbol Viteza de codare în acest caz cantitatea de informații sursă care reflectă media maximă ca urmare a codificării transmis într-o secvență de cod de caractere Să notăm ora sosirii la intrarea codificatorului pentru canalul unui simbol (litere) mesajului ca și timpul de transmitere a unui simbol al secvenței de cod - importanţă Cum În acest caz, vom presupune că codarea produce fără modificarea scării de timp Ntc=Lts^ iar raportul rs/^c este număr întreg Apoi poate fi determinată lungimea secvenței de cod expresie lena Înlocuind ( ) în ( ), obținem: CU S În acest caz, rata de codificare poate fi interpretată ca numărul maxim permis de simboluri binari (biți) de informații primite pe intrare de codificator pentru canal în timpul transmiterii simbolului secvenței de cod către canal valoare Apoi rata de transfer de informații de la sursa V și la co codificarea fn cu rata de codare R, pe baza ( ) poate fi definită ca Vv=RUnK' [bps], ( - ) unde Ou este rata simbolului în canal [simbol/s] Rata informației sursă ϵi caracterizează cantitatea medie de informații sursă pe secundă care intră în canal după codificarea canalului și depinde de parametrii sursei și de codul redundant utilizat Rata simbolului în canal (rata de transmisie a canalului) este determinată exclusiv de parametrii canalului și nu depinde de caracteristicile informaționale ale sistemului de transmisie Pentru a sublinia acest lucru, raportul caracter/secundă este adesea denumit baud, adică caracter/s = baud Având în vedere că codificarea canalului este de obicei precedată de codificare Identificarea sursei necesită clarificarea a ceea ce se înțelege prin sursă în acest caz Acest lucru se datorează faptului că codificatorul introduce mesajele pentru canalul de obicei nu reprezintă nimic mai mult decât secvențe de cod de la ieșirea codificatorului sursă Pornind de la aceasta, sub sursa de informații la codificarea pentru un canal vom înțelege o anumită sursă virtuală, al cărei ansamblu este ansamblul secvențelor de cod obținute ca urmare a codificării unei surse reale Model matematic general al canalelor de transmitere a informaţiei Baza reprezentării canalelor în teoria informației este descrierea acestora în termeni de ansambluri de secvențe de cod la intrarea și ieșirea canalului [ , ] Acest lucru, de regulă, face posibilă obținerea unor modele destul de simple și precise ale canalelor de transmisie reale, a căror utilizare duce la abordări non-triviale ale problemelor de construire a sistemelor de telecomunicații Utilizarea unui model sau a altuia este adesea o chestiune de alegere Această alegere este de obicei determinată de o serie întreagă de motive, totuși, în orice caz, se bazează pe clasificarea canalului în funcție de unul sau altul atribut Pe baza analizei circuitului din Fig , putem concluziona că, în funcție de enunțul problemei, canalul de transmitere a informațiilor (canalul de comunicare) poate fi discret sau continuu Dacă baza problemei este analiza codificării și decodării canalului, atunci este recomandabil să atribuiți modulația și demodularea canalului, iar în acest caz canalul este discret Modelul matematic general al unui canal de transmisie a informaţiei discrete este reprezentat ca l[X;Y] = H[x]-H[X/Y] ( , ) unde n[x]- - entropia ansamblului de secvențe de cod la intrarea canalului; H[x] este entropia condiționată care caracterizează distorsiunea secvențelor xr- în timpul transmisiei în canal g I M M H[X/Y] = -£ Ep(x*Yy)^P(x*/yy)- kg Pe de altă parte, dacă atât codarea, cât și modularea sunt de interes, sau dacă este nevoie de o analiză complexă a acestor etape în ansamblu, atunci canalul corespunzător va fi continuu (canal cu parametri continui) Modelul matematic general al unui canal continuu poate fi reprezentat ca I[XY] = h[X]-h[X/Y], U L ) unde X și Y sunt ansambluri continue la intrarea și respectiv la ieșirea canalului cu parametri continui; LRP este entropia diferenţială a ansamblului la intrarea canalului; h[X/Y] este entropia diferenţială care caracterizează distorsiuni într-un canal continuu: h[X/Y] = - fp(xj(z)yj(z))logp(x!(f)/yj(/))"?/ - CC? unde p(хі Уі(О) și Р(хі( /Уі( )) probabilitate densitate În funcție de natura comportamentului, măsura probabilității ansamblului comun, canalele XY sunt de obicei împărțite în staționare și non-staționare Canalele sunt numite nestaționare, a căror măsură de probabilitate se modifică în timp Canalele sunt numite staționare dacă măsura probabilității lor nu depinde de timp Reprezentarea codurilor ca polinoame Reprezentarea codificării canalelor din pozițiile acțiunilor peste câmpurile din fig ne permite să considerăm codul ca o anumită regulă a operațiilor matematice (algebrice) pe un anumit "câmp", care se bazează pe alfabetul de ansambluri de mesaje și secvențe de cod Această reprezentare este cea care a contribuit la apariția teoriei codificării algebrice, care este în prezent baza pentru descrierea și studiul codurilor de corectare a erorilor O parte semnificativă a teoriei codificării algebrice se bazează pe teoria câmpurilor finite Un câmp este o mulțime de cel puțin două elemente, închise în două operații, numite adunare (+) și înmulțire (•), și care satisface trei axiome: Mulțimea elementelor formează un grup abelian prin operația de adunare Mulțimea elementelor nenule formează un grup abelian prin operația de înmulțire Legea distributivă (a + b)-c = a*c + b- c este îndeplinită pentru toate a, b, c Definiția de mai sus a unui câmp conține noțiunea de "grup abelian" Acest concept este studiat în detaliu în cadrul teoriei grupurilor și poate fi formulat pe baza conceptului general de "grup" Grupuri și subgrupuri Un grup este o mulțime de elemente a, t>, c cu o operație notată prin simbolul general * , care are următoarele proprietăți: Proprietatea Pentru orice elemente a și Z? aparținând unei mulțimi, (a * ) aparține de asemenea acestei mulțimi Proprietatea Pentru orice elemente a, b, c aparținând mulțimii, egalitatea a*(b*c) = (a*b}*c este adevărată, ceea ce definește proprietatea asociativității Proprietatea O mulțime are în mod necesar un element neutru e astfel încât a*e = e*a = a pentru tot a din mulțime Proprietatea Pentru orice element a din mulțime, există un element invers a- care aparține mulțimii și satisface relația a * a- = a- * a = e Un grup abelian este un grup care are proprietatea comutativității a * b = b * a pentru toate a și b aparținând mulțimii Operația indicată prin "*" poate fi operațiile uzuale de adunare sau înmulțire De exemplu, numere întregi cu operație de adunare formează un grup În acest caz, este elementul neutru, iar inversul lui a este -a În cazul utilizării alfabetului binar { , }, elementele sale și formează un grup în care operația "*" este modul doi adăugare "Ѳ" Astfel, atunci când definiți un câmp pentru coduri binare: - un grup abelian prin operația de adunare este un grup de și cu operația de adunare modulo doi și elementul neutru ; - un grup abelian prin operația de înmulțire - un grup de și cu operația obișnuită de înmulțire și un element neutru Un subgrup al unui grup G este o submulțime S a elementelor grupului cu aceeași definiție a operațiilor ca și în grupul G Ordinea unui grup sau subgrup este numărul de elemente din grup sau subgrup Câmpuri și polinoame De obicei, atunci când se rezolvă probleme de codificare pentru un canal, se obișnuiește să se utilizeze câmpuri cu un număr finit de stări, care sunt numite câmpuri Galois Câmpul este de obicei notat ca GF(q), unde q este ordinea câmpului Ordinea câmpului Galois q în conformitate cu teoria grupurilor este egală cu numărul de elemente ale câmpului Din acest punct de vedere, codificarea poate fi considerată ca o transformare a polinoamelor definite de codurile folosite pe câmpul GF(q) Un polinom peste GF(q) de grad n este o expresie a formei dacă an a sunt elemente ale lui GF(q) și dacă primul coeficient an este diferit de zero Simbolul x din polinomul F(x) se numește nedefinit Nu poate fi interpretat ca o variabilă sau un element de câmp necunoscut Acest lucru se datorează faptului că în timpul operațiunilor pe teren: în primul rând, rolul determinant îl joacă succesiunea de coeficienți determinată de polinom, și nu de polinomul însuși, ca funcție; în al doilea rând, adesea în loc de x este necesar să se înlocuiască un element care nu aparține câmpului original Exemplu, Să reprezentăm numărul , generat de sursa informației, ca un polinom, definit printr-un cod natural binar: ^F( ) = H^ + * + * +P * + ->F(x) = x +x + În acest caz, F (x) este considerat ca un polinom peste câmpul modulo lu doi Elementul nu aparține acestui câmp În acest caz, coeficienții ai pot lua valorile și Coeficienții ai, = și formați din ei ■ X este de obicei omis atunci când scrieți un polinom, dar când scrieți o combinație de cod, acestea sunt în mod necesar restaurate ( ) Reprezentarea codurilor sub formă de polinoame deschide posibilitatea de a considera procesul de codificare ca o succesiune de transformări algebrice În același timp, la baza acestor transformări se află operațiile elementare de adunare, scădere, înmulțire și împărțire a polinoamelor peste care câmp Suma a două polinoame dintr-un câmp dat este un polinom peste același câmp, determinată de regulă Peste câmpul modulo se realizează operația de adunare a coeficienților din partea dreaptă a expresiei mod Exemplu, , + x + ) + (x + ) = ( F )x + ( F )x + ( F ) = x Produsul a două polinoame peste un câmp dat este un polinom peste același câmp, definit de relație Înmulțirea unui polinom f(x) pe un câmp cu un element (X din acesta câmpul este determinat de relație Tehnica de construire a codurilor algoritmul lui Euclid Teorema algoritmul lui Euclid Fie f(x) și S(x) polinoame peste câmpul GF(q) și fie S(x) să aibă gradul cel puțin Atunci există polinoame unice g(x) și g(x) peste câmpul GF( q) , pentru care f(x) = S(x) g(x) + r(x), ( ) unde gradul lui r(x) este mai mic decât gradul lui S(x) Algoritmul lui Euclid ( ), definit de teoremă, este fundamental pentru înțelegerea procesului de codificare de corectare a erorilor din punctul de vedere al reprezentării acestuia sub formă de acțiuni pe polinoame Deci, de exemplu, codificarea cuvintelor (mesajelor) sursei prin codul ( V, £), atunci când este aplicată, poate fi reprezentată ca f (x) = u(x) g(x) + r(x) , unde g(x) este polinomul de grad generator ( V-Z) Un polinom f(x) de grad N corespunde unei secvențe de cod permise dacă r(x) = : f?(x) = u(x)g(x) ( , ) Toate celelalte polinoame pentru care condiția r(x) ^ este îndeplinită vor corespunde secvențelor de cod interzise (Fig ) Pe baza ( ), sensul polinomului generator g(x) este că este un divizor pentru toate cuvintele cod Astfel, decodificarea poate fi privită ca rezultat al împărțirii polinomului f(x) la polinomul g(x') Cu toate acestea, dacă diviziunea este fără rest (r(x) = Oj, aceasta înseamnă că t(x) = tAx) și decodificarea se realizează fără erori Împărțirea lui f(x) la g(x) este mai convenabil reprezentată ca produsul lui f(x') cu un polinom h(x) derivat din g(x) Polinomul h(x) se numește polinom de test Decodificarea în acest caz va fi considerată ca rezultat al produsului f (x) h (x) Generarea polinoamelor g(x) și verificarea h(x) determină construcția unui cod corector de erori Cu alte cuvinte, prin selectarea și definirea polinoamelor g(x) și h(x), pentru o anumită enunțare a problemei, este posibil să se construiască codurile de corectare a erorilor corespunzătoare Se spune că un polinom este reductibil dacă există polinoame g(x) și h(x) peste câmpul GF(q) luat în considerare, fiecare dintre ele având gradul cel puțin , îndeplinind condiția Cu alte cuvinte, un polinom f(x) este reductibil dacă este divizibil cu g(x) și folosind algoritmul euclidian ( ) obținem g(x) = Polinomul este considerat ireductibil dacă condiția ( ) nu este multumit Astfel, codarea de corectare a erorilor poate fi reprezentată prin adăugarea (atașarea) simbolurilor de verificare la L simboluri ale fiecărui mesaj sursă (TV-Z) și formând polinoame f(x) peste câmpul GF(q) corespunzător secvențelor de cod ale N simboluri În acest caz, problema este de a determina pentru f(x) generatorii g(x) și de a testa polinoame care să permită obținerea probabilității minime a unei erori de decodare într-un set dat de condiții Polinoamele g(x) și h(x) alese astfel vor determina codul de corectare a erorilor necesar Reprezentarea codurilor sub formă de matrice Atunci când se construiesc coduri care detectează erori, în dicționarul de coduri trebuie introdusă o anumită structură Structura cea mai folosită cu succes este aceea că simbolurile secvențelor de cod sunt considerate elemente ale unui câmp finit GF(q), iar secvențele de cod însele formează un subspațiu vectorial al secvențelor de lungime /V peste câmpul GF(q) Fie u și g/rj pentru l , atunci se ia decizia de a detecta sau corecta eroarea În acest caz, matricea H este construită în așa fel încât x H este întotdeauna un vector zero, adică x H = Aparent, prin urmare, matricea H se numește uneori matricea generatoare a spațiului zero și este reprezentată într-o formă transpusă Vector rând S cu componente {NL} S^zH ( , ) numit sindrom de verificare sau pur și simplu sindrom Trebuie remarcat faptul că relația ( ) nu permite stabilirea exactă a secvenței de zgomot care a avut loc în timpul transmisiei Este o relație care este valabilă pentru toate secvențele de eroare posibile M = £ corespunzătoare secvențelor de cod permise M În legătură cu aceasta, se pune problema găsirii unei soluții la ecuația ( ) care să aibă o pondere minimă O modalitate de a rezolva această problemă se bazează pe utilizarea tabelelor de decodare Principiul utilizării tabelelor de decodare este următorul Se întocmește o listă de N ~ L valori posibile ale lui S, iar fiecăruia îi este atribuită o secvență de z cu greutatea minimă, apoi toți z cu greutatea , apoi greutatea și așa mai departe Pentru fiecare z, se calculează sindromul S = z Н, iar dacă sindromul S deja calculat apare în lista ulterioară, atunci noul vector z corespunzător acestuia este omis Compilarea tabelului se încheie de îndată ce toți vectorii N~L posibili S apar în tabel Pe fig prezintă un astfel de tabel de decodare pentru codul sistematic prezentat în fig , a UXSZ n A b Orez Principiul de aplicare pentru codul sistematic (a) tabelele de decodificare (b) Dacă, atunci când utilizați acest cod, este acceptată secvența y \u d , atunci S \u d yH \u d Conform tabelului (Fig , a) z \u d , de unde cel mai probabil cuvânt x \u d y Ф z \u d Prin urmare, mesajul este decodificat u = Aceasta rezultă din faptul că codul dat este sistematic, adică primele caractere ale secvenței de cod x corespund caracterelor mesajului și, iar restul va fi verificat Setul de secvențe de zgomot z prezentat în tabel se potrivește exact cu setul de erori care vor fi corectate indiferent de secvența de cod transmisă Când oricare dintre aceste secvențe de zgomot apare în canal, decodorul calculează sindromul corespunzător și caută secvența de zgomot în tabelul de decodificare În cazul în care apare o secvență de zgomot neconținută în tabel, rezultatul decodării este eronat Astfel, probabilitatea decodării eronate pentru un canal simetric discret fără memorie va fi egală cu probabilitatea de apariție a unei secvențe de zgomot neincluse în tabel Pentru codul prezentat în Fig , a și tabelul de decodare (Fig , ) sunt corectate toate erorile simple, precum și una dintre erorile duble Cele de mai sus pot fi generalizate la întreaga clasă de coduri de corectare a erorilor, din care rezultă concluzia: un cod de corectare a erorilor poate fi determinat în mod unic de matricele de generare și verificare, precum și, dacă este necesar, de tabelul de decodificare Reprezentarea codurilor sub formă de generare și verificare a matricelor reflectă în mod clar procesele de codificare și decodare și, de asemenea, simplifică accesul la scheme de decizie specifice atunci când se proiectează coduri de corectare a erorilor În plus, are o altă caracteristică grozavă Rezultă că majoritatea codurilor de corectare a erorilor pot fi împărțite în grupuri în care matricele de verificare și generatoare au același design și principiile de formare comune tuturor codurilor fiecărui grup Acest lucru simplifică foarte mult studiul și studiul codurilor de corectare a erorilor, deoarece permite analiza capacităților acestora în ansamblu pentru un ansamblu de coduri care au matrice similare de generare și verificare În plus, caracteristica remarcată facilitează foarte mult atribuirea codului studiat unuia sau altuia ansamblu de coduri din totalitatea ansamblurilor care compun clasificarea codurilor corectoare de erori Deci, de exemplu, matricele generatoare G ale tuturor codurilor sistematice cu verificare de paritate au aceeași construcție (Fig ), care prevede împărțirea într-o submatrice LxL și o submatrice ( V-Z)xZ Submatricea L x L corespunzătoare primelor L coloane este identitatea Matricea [N - L^xL include elemente suplimentare gy , atunci acest cod cu un grad suficient de încredere poate fi atribuit ansamblului de coduri sistematice (N,L}~ cu verificare de paritate Reprezentarea codurilor sub formă de polinoame și matrice formează baza teoriei codificării algebrice, care este unul dintre cele mai eficiente "instrumente" pentru cercetarea și sinteza codurilor de corectare a erorilor Cu toate acestea, în unele cazuri complexitatea aparatului matematic al acestei teorii duce la anumite dificultăți Apoi se folosesc alte abordări care, de regulă, se bazează și pe reprezentări ale codurilor sub formă de polinoame sau matrice Astfel, reprezentarea codurilor sub formă de polinoame pe un anumit câmp ne permite să considerăm codificarea ca o operație pe vectori, cu secvențele de cod corespunzătoare deasupra acestui câmp Aceasta deschide posibilitatea unei abordări care presupune o reprezentare spectrală a procesului de codificare Reprezentarea codurilor sub formă de matrice împreună cu conceptele de grupuri abeliene, subgrupe etc vă permite să aplicați o abordare bazată pe aparatul matematic al teoriei automatelor finite și așa mai departe Distanța minimă a codului Unul dintre parametrii cei mai des utilizați pentru eficiența aplicării și proiectării codurilor de corectare a erorilor, folosind reprezentările de mai sus, este distanța minimă de cod Distanța minimă de cod este distanța minimă de hamming dintre secvențele de cod permise care alcătuiesc cartea de coduri Distanța Hamming aici este numărul de caractere corespunzătoare care diferă între două secvențe de cod Apoi, dacă d este distanța minimă de cod, atunci se consideră că codul va corecta până la I erori și, de asemenea, va detecta toate secvențele de cod care conțin mai mult de , dar nu mai mult de r = (b/ - - ) erori , când r > t+ + Pentru codurile de linie, determinarea distanței minime de cod poate fi simplificată Distanța minimă de cod pentru un cod de linie este definită ca ponderea unei secvențe de cod permise diferite de zero, care are greutatea minimă în cartea de coduri Greutatea unei secvențe de cod este considerată a fi numărul de componente nenule ale vectorului corespunzător din câmpul GF(q) Având în vedere această definiție, distanța Hamming care separă oricare două secvențe de cod ale codului liniar xr și xk este egală cu greutatea vectorului, care este diferența vectorilor care formează xr și xk peste câmpul GF(q) Astfel, componenta (xr ~ xk) nu este egal cu zero dacă și numai dacă componentele corespunzătoare din xr și x£ sunt diferite Dar, deoarece codul este liniar, secvența Xy =Xy -x* este ea însăși un cuvânt în dicționarul de cod și are o pondere egală cu distanța dintre x r și x k Aceasta explică definiția pentru distanța minimă de cod de linie dată mai sus La examinarea codurilor de corectare a erorilor și de detectare a erorilor, dicționarele lor de coduri sunt estimate prin compararea distanțelor minime ale codurilor respective; cel mai bun cod pentru oricare parametri dați L și N este cel pentru care această distanță minimă d este maximă Cu toate acestea, trebuie menționat că codul care este cel mai bun în acest sens nu va fi neapărat cel mai bun în ceea ce privește asigurarea probabilității minime de eroare Această măsură, desigur, este legată de distanța Hamming, dar nu depinde neapărat monoton de aceasta datorită dependenței sale de interferența în canalul de transmitere a informațiilor, care sunt de natură aleatorie Astfel, eficacitatea oricărui cod este determinată în cele din urmă de canalul de transmisie pentru care este aplicat codul Pornind de la aceasta, este oportun să se efectueze analiza și soluționarea problemelor de codificare corectoare de zgomot în raport cu modele specifice (tipuri de modele) de canale de transmitere a informațiilor În canalele în care fiecare simbol de ieșire al canalului este în mod necesar identificat cu unul dintre simbolurile de intrare, numărul maxim de erori nmax, în care faptul distorsiunii secvenței de cod este detectat în mod fiabil, este determinat de egalitatea = d^ - Când numărul de erori este r dmm - , pot exista și cazuri de detectare a faptului prezenței erorilor, dar nu întotdeauna și, prin urmare, nesigur În acest caz, numărul maxim de erori corectabile în mod fiabil este determinat de inegalitate , ( , ) ^max Când condiția ( ) este îndeplinită, secvența de cod transmisă va fi cea mai apropiată de cea primită conform metricii Hamming, iar regula de decodare aleasă va asigura corectarea corectă a erorilor În canalele cu ștergere, recuperarea fiabilă a secvenței de cod transmise în absența simbolurilor transformate este asigurată atunci când numărul de simboluri șterse s satisface condiția: s d - - poate avea loc identificarea falsă a secvenței de cod acceptate Capitolul CODIFICARE PENTRU CANALE DISCRETE Canale discrete Canalele discrete sunt de obicei împărțite în canale discrete cu memorie și canale discrete fără memorie Un canal discret cu memorie este un canal a cărui ieșire în fiecare moment depinde statistic atât de intrarea curentă, cât și de intrările și ieșirile anterioare Memoria în canale discrete se datorează unui număr de motive care operează în canale reale Una dintre ele este interferența inter-simbol În acest caz, secvența de ieșire Yi depinde statistic de mai multe intrări Xy = (xy ^ ) și probabilitatea sa condiționată va fi determinată ca A^Y/Xy^ Un alt motiv este estomparea în canalele reale Deci, de exemplu, atunci când se transmit simboluri binare pe un canal de estompare care este relativ lent în comparație cu rata de transmisie, erorile vor fi grupate împreună Astfel, sub influența fading-ului, canalul are o memorie în sensul că își amintește când era într-o stare proastă și tinde să rămână în acea stare pentru o anumită perioadă de timp Un canal discret fără memorie este considerat a fi un canal a cărui ieșire la un moment dat depinde doar de intrarea curentă În acest ka probabilitatea Y& cu condiţia ca şirul xr să fie determinat de probabilitate condiționată de forma k^r} • În acest caz, fiecare literă a rezultatului succesiunea y% = (yy - um) depinde doar de litera corespunzătoare secvența de intrare și probabilitatea condiționată a(y&/xr) este dată egală cu stvom Iu A-) \u d P p (V * / r) ( - ) /= Cu această reprezentare, un canal discret este un canal fără memorie, dacă există astfel de probabilităţi de tranziţie este adevărată pentru toate N, toate Y y G ¥ și toate Probabilități condiționate P bk/hg caracterizează măsura probabilității nal și alcătuiesc așa-numita matrice de canale Rețineți că, spre deosebire de matricea codului stocastic p(v,/uy) , care Deoarece matricea canalului depinde atât de parametrii de cod, cât și de parametrii canalului, matricea de canal este determinată numai de parametrii canalului Modelul general de eroare matematică pentru un canal discret fără memorie, bazat pe teorema , poate fi reprezentat ca H[X/Y] pentru toate xr Gx] ; Debitul C, măsurat în biți per simbol, este o funcție numai a canalului și caracterizează cantitatea maximă de informații care poate fi transmisă fără pierderi în timpul unei utilizări a canalului Rata de transfer de informații pentru canal este cantitatea maximă de informații pe secundă care poate fi transmisă pe canal V = Сѵ , bit ГЯ PC PC? Cu unde ^pc este rata simbolului din canal La fel ca lățimea de bandă, rata de transfer de informații pentru un canal este o funcție numai a canalului și determină limita pentru rata de transfer de informații în canal de la sursa de informații, depășirea acesteia va duce la pierderea de informații De aici rezultă că codarea optimă pentru canal va fi posibilă numai dacă condiția unde ^nc = umk / upi este un coeficient adimensional, a cărui valoare din ( ) este determinată ca = / R , Inegalitatea ( ) este o rafinare a afirmației binecunoscute că, dacă entropia sursei este mai mare decât lățimea de bandă, atunci o probabilitate de eroare arbitrar mică nu poate fi atinsă în codificarea canalului Se poate observa din ( ) că această afirmație este adevărată pentru Kps = , adică pentru R = Cu toate acestea, conform principiilor de codare pentru canal, rata de codare este întotdeauna mai mică decât unitatea (R Teorema Fie HĂ[U] entropia unei surse discrete de informație U pe simbol care formează simboluri (litere) mesaje de lungime L cu o rată de Chіy Fie R rata de codare fn și C % debitul și, respectiv, rata de simbol a canalului Atunci dacă HI[U] Li x/ G G unde -îl U;V| = Iz |U;V| - cantitatea medie de informații despre simbolul mesaj-L exprimarea sursei în simbolul mesajului corespunzător acestuia la destinatar; G G - НIU / V = НL IU / VI - entropia condiționată reprezentând media L incertitudinea cu privire la un simbol de mesaj de lungime L care rămâne după decodificare Interferența de transmisie duce la pierderea de informații Expresia pentru estimarea mărimii acestor pierderi este determinată de Teorema , ținând cont de notația introdusă mai sus și este reprezentată ca n, [U/V] = n[u/v] unde upk este rata de transmitere a simbolurilor secvențelor de cod în canal Din ( ) rezultă că creșterea influenței distorsionante a interferenței (creșterea) duce la o scădere a cantității medii admisibile de informații pe secundă care poate fi transmisă pe canal În absența interferenței (HV[X/Y] = O), rata de transfer de informații pentru canal capătă o valoare maximă și este definită ca ѵ =și ir pc & • În cazul în care NDKh/ Y] = log w , adică atunci când se observă așa-numita înfundare completă a canalului cu zgomot, C și wk sunt egale cu zero Astfel, în funcție de nivelul de interferență (nefiabilitatea canalului), debitul și rata de transmisie pentru canal pot varia în: p (u; ) p (y/u, ) pentru toate iph r ( ) Această regulă este ceva mai complicată ( ), deoarece necesită calculul probabilităților a priori / (ur), ceea ce este incomod pentru sursele nestaționare Totuși, echivalența relațiilor pentru p(y/u/) și p(yy/x/) deschide posibilitatea utilizării matricelor de canale în aplicarea sa A doua regulă se bazează pe calculul probabilităților condiționate P (Y J pentru toate u, g U când sosește secvența de cod Y y În acest caz, decodarea se efectuează conform regulii: pentru un anumit Y, alegeți există vr corespunzător lui ur, pentru care p(y/ur) ), atunci valoarea negativă a părții din dreapta a lui ( ) pentru ngo] ipiN"[i] ( , ) Dovada Înlocuind în ( ) expresia pentru C conform ( ) și efectuând transformări similare trecerii de la ( ) la ( ), obținem CHL "LI - (bg ~ NDH / Y]) ( ) Din inegalitatea rezultată rezultă că atunci când ( ) este îndeplinită, limita inferioară a valorilor posibile ale lui Pe/ va tinde spre zero Mai mult, egalitatea lui la zero poate fi întotdeauna asigurată prin selectarea parametrilor de codificare Q E D Teorema de mai sus arată că interferența canalului poate avea o influență decisivă asupra eficienței de codare pentru canal Deci, o creștere a entropiei condiționate H[X/Y], ca urmare a creșterii influenței distorsionante a zgomotului, poate duce la faptul că partea dreaptă a inegalității ( ) ia o valoare pozitivă Acest lucru va indica faptul că Pc/ ia doar valori pozitive finite care nu sunt egale cu zero, adică există pierderi de informații Astfel, teorema este inversată Teorema Conversia teoremei lui Shannon pentru un canal zgomotos Dacă debitul pe unitatea de timp al unui canal discret cu zgomot este mai mic decât performanța sursei, de ex um(log -HJX/Y]) atunci orice codificare £ va duce la pierderea de informații Dovada Dacă condiția ( ) este îndeplinită, atunci partea dreaptă nu este îndeplinită ( ) va fi o valoare pozitivă Astfel, pentru orice co- împărțirea lui Pee va lua numai valori pozitive finite, altele decât zero, adică va exista o pierdere de informații Q E D Teoremele Shannon de mai sus sunt de bază pentru întreaga clasă de probleme de codificare a canalelor Caracteristica lor remarcabilă este potențialul inepuizabil de adaptare la diferite condiții de transmitere și codificare a informațiilor Dovadă în acest sens este un număr semnificativ de modificări ale acestora, în raport cu diverse sarcini de transmitere a informațiilor, apărute în timpul existenței lor Pentru a oferi o interpretare adecvată a teoremelor de mai sus, observăm că debitul pe secundă nu este altceva decât rata maximă admisă de transfer de informații pentru canalul ^ik, iar performanța sursei este rata de informație de la sursă în bit / s Astfel, teoremele lui Shannon afirmă un fapt clar din punct de vedere fizic: dacă rata de informare de la sursă este mai mică decât rata maximă admisă a transmisiei sale pentru canal, atunci codarea fără pierderi este posibilă, dacă nu, atunci este posibilă este imposibil Corolarul Fie R rata de codare pentru un canal discret cu lățimea de bandă C Atunci, dacă R uk, obținem R , ( - ) adică limita superioară a lui H£ [U/V > poate avea numai valori pozitive, apoi valorile negative din partea dreaptă a lui ( ) pentru C ^log^-H^X/Y]) ( , ) va însemna tendința sau egalitatea ( ) la zero, care este asigurată de tendința sau egalitatea Pe£ la zero De unde rezultă că în condiția ( ) există întotdeauna o codificare care asigură o probabilitate de eroare arbitrar mică Epsilon-entropia reprezentării digitale Ce determină minimul o anumită cantitate de informații despre mesajele continue care trebuie transmise pe unitatea de timp pentru a le restabili la recepție cu exactitatea necesară £ Pornind de la aceasta, Teorema impune restricții destul de severe asupra parametrilor reprezentării digitale a unei surse continue la transmiterea mesajelor continue pe canale discrete În acest caz, după cum rezultă din ( ), influența determinantă asupra asigurării preciziei necesare e poate fi exercitată prin interferența în canal Astfel, o creștere a NLG[HLG] ca urmare a influenței distorsionante a interferenței poate duce la faptul că valorile lui Ce, necesare pentru a asigura precizia dată e, nu vor corespunde condiției ( ) Aceasta implică posibilitatea de a alege o metodă de codare Teorema Inversarea teoremei de codare pentru un canal discret în transmiterea de informații din surse continue Dacă capacitatea canalului este mai mică decât entropia epsilon a reprezentării digitale a unei surse continue um(logW -H"[X/Y]) n Ѳ Z> ѲZ> , S =g (r)b (r)b(:(r)b (r)bw(r)bn(r)bu(r)bi , = g (r) Z> (r) (r) Z> Ѳ b Ѳ Z> Ѳ Z> Ѳ b , = (r) b Ѳ Ѳ b]} Ѳbl Ѳ£> Ѳ Z> Ѳ Z> , unde sunt valorile simbolurilor informative ale secvenței de cod; gj sunt valorile simbolurilor cec Tabelul Numărul ordinal al bitului de cod în notație zecimală Valorile biților din notația binară a numărului ordinal al biților de cod (junior) (junior) Valorile simbolurilor de verificare care anulează sumele de control ( ) sunt definite după cum urmează: g, = b Φ b Φ Z> Φ b Φ bn Φ £> Φ b , ? = b (r) b, (r) Z> (r) />u Ф Z> Ф b (r) b , g = b Ф Ф b Ф b Ф £> (r) b Ф Z> , = b Ф Z> Ф bn F Z> F bl F h F Astfel, algoritmul de generare a codului Hamming presupune: - aranjați simbolurile informative în ordinea crescătoare a cifrelor, păstrând cifrele neocupate cu numerele " , adică , , , și așa mai departe; - se calculează simbolurile cec care ocupă cifre cu numere m, în conformitate cu ( ) Apoi algoritmul de decodare a codului Hamming include: - calculul sumelor de control în conformitate cu ( ); - determinarea numărului de serie al simbolului distorsionat, dacă nu toate sumele de control sunt egale cu zero, și corectarea acestuia la un alt simbol binar; - selectarea părții informaționale a secvenței de cod prin eliminarea biților cu numerele ; Exemplu Lasă secvența de informații inițială să arate ca (caracterele binare ale secvenței sunt scrise în ordinea descrescătoare a numerelor de biți de la stânga la dreapta) Apoi simbolurile sale sunt situate în secvența de cod a codului Hamming în următoarea secvență: £ > duce la următoarea secvență de cod sti: (verificați caracterele sunt în cursive) Dacă, la primirea celui de-al -lea bit din această secvență de cod, acesta va fi luat în mod eronat ca unitate, atunci la calcularea sumelor de control, obținem = ; = ; = ; = Astfel, valoarea sindromului care determină numărul cifrei distorsionate în notația binară este S S S S = Pentru a corecta eroarea, trebuie să modificați valoarea simbolului din a cincea cifră la opus La utilizarea codului Hamming, corectarea corectă a secvenței de cod are loc numai pentru erori unice, care este în deplină concordanță cu distanța codului, care în acest caz este egală cu trei ( Codificăm restul diviziunii R(x)-f(x)/g (x) un cod de bloc sistematic având o distanță de cod A tiFt ceea ce arată că probele de proces prelevate la intervale de timp / F sunt necorelate și, întrucât vorbim despre un proces gaussian, sunt independente Astfel, luând în considerare mesajele de durată T suficient de lungă, putem presupune că fiecare dintre ele este caracterizat de eșantioane independente de FT De aici, calculând informațiile procesului ca informații ale citirilor sale independente și ținând cont de formula ( ), obținem Linia peste Tz (X; y) indică faptul că vorbim despre cel mai mare posibil cantitatea nominală de informații În consecință, pentru debitul unui canal continuu într-o unitate avem timp ( , ) X Formula ( ) a fost dezvoltată de K Shannon și îi poartă numele Rezultă de aici că cea mai mare cantitate de informații care poate fi transmisă în mod continuu canal perturbator cu interferență, crește odată cu creșterea raportului semnal-zgomot, timpul de transmisie T și extinderea benzii de frecvență ocupate F Conform Aceasta din urmă înseamnă că lipsa puterii de intrare a canalului poate fi compensată prin extinderea corespunzătoare a lățimii de bandă a canalului Sistemele de transmisie în care spectrul canalului de intrare X depășește semnificativ lățimea spectrului de mesaje sunt denumite în mod obișnuit bandă largă O modalitate practică bună de a genera semnale în bandă largă este utilizarea modulării în frecvență cu un indice suficient de mare Trebuie remarcat, totuși, că oportunitățile de extindere a lățimii de bandă asociate cu extinderea lățimii de bandă nu sunt nelimitate Cert este că zgomotul este de obicei limitat nu de putere, ca atare, ci de intensitatea spectrală - Având în vedere acest lucru, prin transformarea expresiei ( ) la formular O putem concluziona că în aceste condiții, debitul canalului cu creșterea F va tinde către o anumită limită Într-adevăr, din pe măsură ce banda F crește, valoarea scade Atunci, având în vedere că x mic, relația ln( + x) x x este valabilă (puteți folosi și fie guvernat de regula lui L'Hospital), obținem ( , ) a nat O vedere generală a dependenței lățimii de bandă de banda F este prezentată în Fig Rezultă din aceasta că pentru valori date ale puterii semnalului o și intensitatea spectrală a zgomotului - , pentru a obține debitul canal de comunicare mai mare decât C oo este imposibil Orez Debitul unui canal continuu în funcție de acesta dungi Fie C oo \u d nat / s După cum rezultă din formula ( ), pentru a asigura o astfel de lățime de bandă, este necesar să existe o sursă de semnal a cărei putere la locul adăugării sale la zgomot să fie numeric egală cu - W (ca de obicei, vorbim despre puterea disipat într-o rezistență de Ohm) Deoarece transferul unei nata de informații durează s într-un astfel de canal, atunci se consumă energie, numeric egală cu - jouli Eficiența codurilor de corectare a erorilor în codificarea canalelor continue Ca criteriu pentru eficacitatea codurilor de corecție în codificarea canalelor continue, se poate folosi fiabilitatea transmiterii informațiilor furnizate de acestea la o rată de transmisie fixă, puterea medie a semnalului și interferența Pentru a face acest lucru, este necesar în primul rând să se introducă o măsură a fiabilității transmiterii informațiilor, care să facă posibilă compararea diferitelor coduri în funcție de această caracteristică Pentru codurile de corectare a blocurilor, este convenabil să se utilizeze L M Probabilitatea de eroare echivalentă Finck PtL, caracterizată prin valoarea probabilității de recepție eronată a unui simbol elementar al unui cod primitiv (L, L), în care acesta din urmă oferă aceeași fiabilitate a transmiterii informațiilor ca și codul de corecție bloc considerat (N, L) Deoarece pentru un cod primitiv probabilitatea de recepție eronată a unui simbol cu distorsiuni aleatorii independente ale simbolurilor individuale caracterizează în mod unic fiabilitatea transmiterii informațiilor, valoarea lui Pei este o caracteristică clară a corectitudinii codului corector, adică P, £ = Pe Dacă codul estimat (N, L) în canalul luat în considerare este caracterizat de probabilitatea de recepție eronată Р£, atunci probabilitatea Pe£ de recepție eronată a unui simbol, care asigură aceeași fiabilitate a transmiterii informațiilor pentru codul primitiv ( L, L\ se determină din egalitatea (I-Pv) n = - P De unde Pe t = - ( - P/) A și pentru Pl " avem Re £ "R £ / L Dacă codul de corecție (Y, L) are o distanță de cod? adică este capabil să corecteze în mod fiabil Z = (tZmin-l) / erori, apoi cu distorsiuni aleatorii independente ale simbolurilor sale, caracterizate de probabilitatea Pe, obținem: ( , ) N În cazul când r=/+ numai primul termen al sumei, care are cea mai mică ( + )-a ordin în raport cu valoare mică Re, obținem: Pentru a compara două coduri (Dg , D) și (U, , A /), puteți folosi relativul apropo (J ) unde rj, /; este coeficientul care caracterizează profitul j-lea cod în raport cu z-mu; Z; și lf este numărul de erori corectabile în mod fiabil corespunzătoare codului distanțele codurilor comparate dmmi și dmmj; Pei și P^ sunt probabilitățile de distorsiune a simbolurilor elementare ale codurilor comparate pentru aceleași valori ale ratei de transfer de informații, puterea medie a canalului și caracteristicile bastoane de interferență Dacă un cod primitiv este folosit ca cod al z-lea, atunci coeficientul ( ) este definit ca factorul de eficiență al codului de corectare a erorilor: L PC ( , ) unde Repk este probabilitatea de recepție eronată a unui simbol de cod de corecție; Repr - probabilitatea de recepție eronată a simbolului acceptului corespunzător cod activ cu aceeași interferență și aceleași valori ale ratei de transfer de informații și ale puterii medii ale canalului Să reprezentăm interferența într-un canal continuu sub forma unui zgomot alb aditiv ma cu o densitate spectrală de - Rata de transfer de informatii pentru fixăm numărul m de simboluri informaționale transmise în s (codul informațional original este considerat neredundant) Se presupune că energia ambelor simboluri ale codului binar ( și ) este aceeași Pe baza acestui lucru, este probabil Stilurile de transformare a caracterelor pot fi definite ca Apoi, folosind ultima formulă, obținem: Pey \u d F \u d F / (NQmNj / LJ), (J ) unde ^sk este puterea medie fixă a canalului; mN; !Lj este numărul total de simboluri boi transmis în s la utilizarea codului () care îndeplinește condiția transmiterea a m simboluri informaţionale în s; F(g) = integrală de probabilitate; factor de vizibilitate L = E o personaje Ținând cont de ( ), expresia ( ) se reduce la forma ( , ) unde Ес este energia simbolului codului de corectare a erorilor EcN / L este energia simbolului codului primitiv la aceleași valori ale ratei de transfer de informații și ale puterii medii a semnalului; R - L/N - rata de codare De exemplu, în fig Figura prezintă un grafic al factorului de eficiență ? w-pe raportul Ec/N pentru un cod Hamming de biți care corectează erori individuale (W = , Z = , = ) Graficul este construit pentru Λ = în regiunea valorilor suficient de mari ale EJN^, când se aplică formula aproximativă ( ) Eficiența codurilor de corectare crește odată cu creșterea fiabilității recepției caracterelor individuale Figura Graficul dependenței coeficientului de eficiență r}pc de raportul Ec /NQ și lungimea biților N secvențe de cod Cu o fiabilitate scăzută a recepționării simbolurilor (valori mici de ^/^, o creștere a capacității de corecție a codului poate duce la rezultate negative, deoarece în acest caz creșterea probabilității de recepție eronată a simbolurilor poate fi predominantă din cauza o scădere a energiei lor cu o creștere a redundanței Capitolul ABORDAREA INFORMAȚIONALĂ PENTRU EVALUAREA EFICIENȚEI PROTECȚIEI TELECOMUNICAȚIILOR Posibilitățile abordării informaționale pentru evaluarea calității telecomunicațiilor Baza teoretică fundamentală a abordării informaționale pentru evaluarea calității funcționării sistemelor de telecomunicații este sistemul de modele matematice pentru transmiterea și protecția informațiilor: l[U;V] = l[U]-l[U/V]; (P- ) l[UK;E] = l[U;E] + l[K;E/U], (I- ) unde і[u] este cantitatea medie de informație din mesajele ansamblului U corespunzătoare entropiei sale H[U]; I[U/V] - cantitatea medie de informații mesaje pierdute în timpul transmisiei, corespunzătoare entropiei condiționate H[U/V]; I[U;E] - cantitatea medie de informații despre mesaj în criptograme; і[K;E/u] - cantitatea medie de informații despre chei din criptograme supuse protecției informațiilor despre mesaj Soluția ecuației ( ) formează baza evaluării informaționale a calității telecomunicațiilor Această soluție va fi optimă dacă este îndeplinită condiția l[U/V] = Principala abordare pentru a atinge această condiție este introducerea redundanței artificiale în codificarea canalului prin codificarea de corectare a erorilor Din aceste poziții, redundanța codificării de corectare a erorilor acționează ca un criteriu determinant pentru calitatea telecomunicațiilor Soluția ecuației ( ) formează baza pentru evaluarea eficienței protecției telecomunicațiilor Condiția de bază de optimitate pentru această soluție este definită ca I[UK;E] = O Principalele abordări pentru atingerea acestei condiții sunt determinate de cele teoretice mami criptare și codificare Din aceste poziții, definind para- Contoarele pentru evaluarea calității protecției informațiilor sunt eficiența și puterea criptării și codificării Conceptul de bază care determină posibilitățile abordării informaționale este cantitatea de informații Din punct de vedere al teoriei informaţiei, baza generală a demersului de evaluare a calităţii telecomunicaţiilor este schema de comunicare prezentată în fig Totodată, sistemul de comunicare, obiectele, elementele, nodurile sale sau procesele care au loc în el acţionează aici ca sursă de informaţie, iar mijloacele tehnice şi specialiştii care efectuează evaluarea acţionează ca destinatar al acesteia Din aceste poziții, putem presupune că sarcina principală a destinatarului de informații în cursul evaluării unui obiect este de a crea un fel de imagine informațională a sursei de informații În ceea ce privește teoria informației, baza acestei imagini este conceptul de "ansamblu", ale cărui componente sunt spațiul eșantion și măsura probabilității sale Mai mult, dacă spațiul eșantionului este discret, atunci măsura probabilității este o colecție de probabilități Dacă este continuă, atunci măsura probabilității corespunde densității de probabilitate a unui proces aleator continuu care constituie spațiul eșantion Trebuie subliniat faptul că majoritatea absolută a obiectelor reale, atunci când sunt incluse în cursul evaluării în schema de comunicare, sunt surse continue de informare Astfel de surse corespund unui ansamblu continuu, a cărui bază este un spațiu de probă continuu Ca urmare, cantitatea de informații proprii despre obiect în timp poate fi considerată ca un anumit proces aleator continuu vectorial J(Z) cu așteptare matematică egală cu vectorul entropiilor diferențiale ale parametrilor obiectului studiat Principala caracteristică a comunicării reale (atât directă, cât și tehnică) este că acest proces este perceput de către destinatarul informațiilor despre obiect ca cuante Acest lucru se datorează unui număr de motive, care, în primul rând, includ specificul funcționării organelor sentimentele umane, precum și limitările întotdeauna existente cu privire la acuratețea și fiabilitatea sincronizării instrumentelor de măsurare Figurat vorbind, cercetătorul obiectului analizează (observă) nu procesul J(Z) în sine, ci rezultatul reprezentării sale digitale originale Jv/(z) Această situație este tipică pentru abordările moderne de prelucrare a informațiilor despre obiectele de cercetare în aproape toate domeniile cunoașterii Este destul de clar că în acest caz există o distorsiune a informațiilor adevărate despre obiect, cauzată de erorile de cuantizare și discretizare ale procesului original J(Z) în timpul comunicării Consecințele acestui lucru sunt destul de evidente: acestea sunt inexactități în construcțiile teoretice și uneori inconsecvența lor totală Din păcate, aceste efecte apar de obicei doar după un timp, pe măsură ce se dezvoltă cunoștințele științifice Având în vedere creșterea destul de previzibilă a amplorii posibile a acestor consecințe în condițiile progresului științific și tehnologic, pericolul situației actuale devine clar Sarcina este de a determina abordarea care permite obținerea unei estimări J*( a procesului inițial J(Z), care furnizează valoarea minimă admisă a pierderilor de informații e(t)=S(t) - Observăm imediat că soluția acestei probleme într-o formulare directă nu este posibilă Acest lucru se datorează particularității determinării componentelor J"(Z) ale vectorului J(Z), care se bazează pe caracteristicile informaționale ale parametrilor obiectului studiat Particularitatea în acest caz constă în faptul că baza pentru determinarea valorii aleatoare J"(Z) este caracteristica probabilistică Pn(t) a unei alte valori aleatoare - valoarea parametrului w-ro al obiectului studiat Figurat vorbind, conceptul de cantitate de informații proprii acționează aici ca un fel de concept virtual Din aceste poziții, sarcina poate fi considerată ca o proiecție reală a unei imagini virtuale sub forma unei probleme de determinare a unei abordări care să permită destinatarului să minimizeze pierderile din cuantizarea substanței formate de sursă Dintre posibilele proiecții reale ale acestei imagini virtuale, cea mai interesantă în cazul nostru este problema minimizării erorii de cuantizare în sistemele de comunicații digitale Transformarea soluțiilor dovedite ale acestei probleme prin zona virtuală în raport cu proiecția reală care alcătuiește problema, vă permite să obțineți o abordare destul de originală a soluției acesteia Pentru a simplifica prezentarea acestui demers, folosim reprezentarea procesului J(Z) in forma scalara, tinand cont de posibilitatea generalizarii ulterioare a rezultatelor obtinute la reprezentarea sa vectoriala Reprezentarea scalară J(/)>, ținând cont de transformarea prin regiunea virtuală menționată mai sus, poate fi definită ca J(Z) = tg (P-Z) unde J(Z) este cantitatea de informații proprii ale unui parametru definitoriu al obiectului; Sj(^) este densitatea spectrală a lui J(Z); G) = nf este frecvența; φ(co) este faza Trebuie subliniat faptul că reprezentarea ( ) reflectă realizări ale unui proces staționar care satisfac condițiile Dirichlet Transformând ( ) în formă trigonometrică, avem "i" ( , ) J(f) = j- (Ф) cos[ oZ - și apoi ex este trapolată conform legii ( ) Pe baza acesteia, sarcina de a determina estimarea J*(?) conform secvenței cuantice Jt/(z) se împarte în două probleme: problema determinarea succesiunii estimărilor J*(O = J*( ) şi problema netezirii secvența rezultată J * (/) Dacă această estimare se formează pe semi-intervalul de observație [^,//+ ) pentru o observație IDO? să te corectez înfrângere J*(^) = J*(z)exp(-a(/L-//)) ( ) Problema determinării estimării J * ( în cazul general este o problemă neliniară care poate fi rezolvată pe baza ( ) prin determinarea re expresia curentă pentru densitatea de probabilitate posterioară Rezultatul acestei soluții este un algoritm recurent de forma J*(z) = exp(-aT)j *(/-!) + ^} unde k este indicele regiunii de cuantizare la care se referă J^(z'); - coeficient factor de amplificare Determinarea estimării J * (t) este baza pentru formarea ulterioară evaluarea imaginii informative: * *(w) = p*(^)exp(-yc)/)by o ( ) Expresiile ( ) - ( ) sunt un model matematic de evaluare a imaginii informaționale a obiectului studiat Orice sistem de telecomunicații, din punctul de vedere al abordării informaționale pentru evaluarea funcționării acestuia, este o colecție de obiecte Astfel, rezolvarea problemei de evaluare din aceste pozitii necesita formarea unei imagini informatice complexe a sistemului Această problemă poate fi rezolvată prin unificarea (unificarea) imaginilor informaționale energetice GJJt(Z) ale obiectelor separate ale sistemului Pe baza acesteia, este prezentată o imagine informațională complexă a unui sistem de telecomunicații formă SR=VUNIF(G#( ) • În acest caz, trecerea de la SJk la GJk(f) poate fi efectuată după formula Gjk(t)= (s;k)\ Expresia de mai sus reprezintă un model matematic al unui sistem de telecomunicații din punctul de vedere al formării imaginii sale informaționale complexe Rețineți că acest model nu impune restricții în alegerea procedurii de unificare, ceea ce deschide un nivel calitativ nou de oportunități pentru găsirea de noi abordări de evaluare a eficacității funcționării sistemelor de telecomunicații La rândul său, punerea în aplicare a acestui modelul și crearea de complexe software și hardware-software pe baza acestuia vor permite atingerea unui nou nivel calitativ de rezolvare a problemelor de evaluare a calității telecomunicațiilor Evaluarea informațională a calității comunicării Din punct de vedere al teoriei informaţiei, calitatea telecomunicaţiilor este asigurată de introducerea redundanţei artificiale prin codificarea imună la zgomot a informaţiei transmise În acest caz, se presupune că redundanța intrării de codare este egală cu zero Din aceste poziții, evaluarea calității telecomunicațiilor poate fi redusă la o evaluare a redundanței secvențelor de coduri ale codurilor de corectare a erorilor aplicate și a limitelor permise pentru modificarea acesteia: - valoarea minima (limita inferioara), sub care se poate produce o eroare de comunicare; - valoarea maximă (limita superioară), peste care complicarea ulterioară a metodelor de codare de corectare a erorilor nu va mai afecta calitatea comunicării Limite de redundanță a informațiilor în transmiterea informațiilor discrete Pentru a determina limitele redundanței, aplicăm o abordare care reprezintă procesul de transmitere a informațiilor discrete ca urmare a distorsiunii elementelor ansamblului X la intrarea canalului de comunicație în elementele ansamblului Y la ieșirea acestuia Eficiența transferului de informații în acest caz va fi determinată de cantitatea medie de informații despre elementele ansamblului X din elementele ansamblului Y, adică I[X;Y] Să găsim relația dintre cantitatea medie de informații reciproce și redundanța intrării canalului Bx; I[X;Y] = H[X]-H[X/Y] ( , ) B[X]=NSHI[X]-H[X], ( , ) unde H[X], Hmax[X], H[X/Y] sunt entropia, entropia maximă și entropia condiționată tropia, respectiv Să rescriem ( ) ținând cont de ( ) în formă І[X;Y] = [X] - B [X] - H[X/Y] Apoi, valorile normalizate н[X;Y] pot fi definite ca I[X;Y] = I[X;Y]/I = -B[X]/[X]-H[X/Y]/H^I Unde B [X] = ( - I[X; Y])Hmax [X] - H[X/Y] Ținând cont de definiția general acceptată a coeficientului de redundanță = Hmax[X] -H[X] B[X] n^u n^dx] ' expresia ( ) poate fi redusă la forma IGH-Yl = și H[X/Y] I[X,Y] -^ max l J (P- ) ( ) (P- ) Unde Nshah IAJ Pentru a determina limita inferioară a redundanței, luăm în considerare faptul că pentru canalele binare fără memorie l[X;Y] H [X]-CW-H[X/Y] ( ) Pe baza ( ) pentru redundanță pe simbol B^X] cod după- secvențe ale ansamblului X de lungime N, avem Prin[X]>log m -C-HjV[X^\ Înlocuind expresia pentru limita superioară H v [X/Y], obținem B^ [X] > log m - C - Rel log(m ) + R v ( ) unde ReL este probabilitatea de distorsiune a simbolului secvenței de cod x la transmitere Transformând partea dreaptă a ( ), avem în sfârșit ( , ) unde %[Re;; ] = -ReDG log[Pn] - ( - Рс V) log ( - P v) Probabilitatea P v din ( ) determină probabilitatea de distorsiune a unui simbol al unei secvențe de cod de lungime N în timpul transmisiei, iar pentru DCBP cu un alfabet binar de secvențe de cod m = poate fi reprezentat ca PeV = p, unde p este probabilitatea de distorsiune a unui simbol binar în canal Ținând cont volumul acestei inegalităţi este expresia pentru poate fi adus în minte = -plog p - ( - p)log ( -p) Expresia ( ) determină limita inferioară a redundanței codării corectoare de erori Analiza sa arată că valoarea limitei inferioare poate fi afectată semnificativ de numărul de litere m din alfabetul codului În acest caz, o creștere a t poate duce la o creștere semnificativă a acestei valori În plus, este dezvăluită o caracteristică, care constă în posibilitatea unor valori negative ale limitei inferioare a redundanței codării de corectare a erorilor Din punct de vedere fizic, aceasta poate fi interpretată ca introducerea de informații false în procesul de codificare de corectare a erorilor Astfel, regiunea valorilor negative B V[X] poate fi considerată regiunea de posibilă aplicare a codurilor de corectare a erorilor pentru rezolvarea problemelor protectie la imitatie Pentru a determina limita superioară a redundanței codării corectoare de erori, înlocuim expresia ( ) cu l[X;Y] în ( ), obținem H£ [u] - n [X] + ІВ[X] + |n[X/Y] HS, ( , ) unde He este entropia epsilon de cuantizare Să transformăm având în vedere acest lucru ( ), ținând cont de faptul că rata de codare poate fi reprezentată ca ?=cІIIIot Ca rezultat, obținem: Wu[X] (Ps / g (W - O -% [ReL ]) " - (RelM'Yaz "O-I'iXv])- Înmulțind ambele părți ale inegalității rezultate cu avem unde Ce = CIINk este entropia epsilon a reprezentării digitale Partea stângă a inegalității ( ) înseamnă redundanța codării de corectare a erorilor pe unitatea de timp Principalul parametru al calității comunicației în transmiterea informațiilor de vorbire este inteligibilitatea W Având în vedere acest de ex aplicăm pentru transformarea ulterioară ( ) abordarea bine dovedită, propusă mai întâi de A I Velichkin, care constă în reprezentarea Pe/ ca Pe / = - F Pe baza acesteia, inegalitatea ( ) poate fi redusă la forma CD [U] , corespunzătoare unor cifruri indescifrabile teoretic; ) aria valorilor negative D(O,U*) H[K*/E*] la criptarea Ф, intervalul de valori posibile ale lui E(Ф,u*), în acest caz, este definit ca - Н[к'] (U,YA)log ijn P(U,E") p(Vy)p(u;/Vy)p(En/u;Vy) primim Ср(Ф,И/) = H[Y/]+H[U//Y/] + H[E//U/Y/]-H[U/]-H[E//U/] Unde SDF,i/) = H[Y/]-I[U/;Y/] - H[E/;Y//U/] ( - ) Cu independența statistică a ansamblurilor de mesaje, criptograme și secvențe de chei, expresia ( ) ia forma SDF, u/) = H[Y/] Acest lucru indică faptul că, în acest caz, puterea criptării este determinată în mod unic de entropia secvențelor de chei legate de o anumită valoare a datelor cheie din spațiul eșantion al ansamblului X* Evaluarea eficacității codificării analogice Principalul parametru folosit pentru a evalua eficacitatea codificării analogice este inteligibilitatea Inteligibilitatea, din punctul de vedere al schemei de codificare analogică generalizată, este valoarea medie relativă a mesajelor corect selectate din criptograme la numărul total de mesaje transmise de la sursa de informații (IS) Utilizarea acestui parametru se datorează faptului că istoric, inițial, sarcina de amestecare a fost stabilită doar pentru a rezolva problemele de protecție a informațiilor de vorbire Prin urmare, este destul de clar că pentru a evalua eficiența amestecării a fost aplicat principalul parametru utilizat pentru evaluarea eficienței transmiterii informațiilor de vorbire Inteligibilitatea a fost și rămâne un astfel de parametru, care, în raport cu sarcinile de transmitere a informațiilor vorbirii, se definește astfel: inteligibilitatea vorbirii este numărul relativ de elemente de vorbire recepționate corect (sunete, silabe, cuvinte, fraze), exprimat în procente din numărul total de elemente transmise [ , ] Compararea definițiilor de mai sus ne permite să remarcăm trăsătura distinctivă fundamentală a utilizării inteligibilității ca indicator al eficienței amestecării: dacă creșterea eficienței transmisiei Unele informații se caracterizează printr-o creștere a inteligibilității, în timp ce o creștere a eficienței amestecării se caracterizează prin scăderea acesteia Din punctul de vedere al conceptului acceptat de teoria informației, evaluarea inteligibilității are niveluri de reprezentare: logic și material Mai mult, din definițiile acceptate ale inteligibilității, rezultă că baza acestei reprezentări ar trebui să fie o evaluare la nivel logic Doar pe această bază este posibilă o evaluare optimă la nivel material, folosind semnale ca formă materială a mesajelor (silabe, cuvinte, fraze) Din aceste poziții, problemele de evaluare a eficacității amestecării analogice devin clare În primul rând, trebuie menționat că rezolvarea problemei evaluării inteligibilității la nivel logic într-un cadru direct pare a fi destul de problematică Acest lucru se datorează în primul rând nestationarității evidente a surselor continue reale și dificultăților rezultate în stabilirea dependenței analitice a caracteristicilor spectrale ale unui proces aleatoriu care determină spațiul eșantion al ansamblului sursă de modificările formelor logice generate de sursă Prezența, alături de aceasta, a unor probleme nerezolvate de determinare a entropiei și redundanței surselor continue nu a putut decât să dea naștere la scepticism cu privire la posibilitatea evaluării inteligibilității la nivel logic În al doilea rând, lipsa unei singure baze fundamentale la nivel logic a condus în mod natural la o varietate de metode diferite, fără legătură, pentru a evalua eficiența amestecării la nivel material Incertitudinea criteriilor de optimitate a evaluării cauzată de aceasta a creat condiții când cercetătorul este forțat să ia decizii empirice, care de obicei conduc la rezultate destul de controversate În același timp, încercările făcute de a reduce această incertitudine prin împărțirea metodelor de amestecare în stabile computațional și stabile necondiționat, deși în unele cazuri se justifică, totuși, în general, introduc incertitudine suplimentară Toate acestea au dus la formarea unei situații în care opinia predominantă este că criteriile de evaluare a eficienței amestecării sunt concepte foarte arbitrare Caracterul paradoxal al acestei situații constă în faptul că studiile în direcția căutării estimărilor optime de eficiență de amestecare sunt limitate inițial de condiția incertitudinii a priori a parametrilor criteriilor de optimitate pentru aceste estimări Aparent, ca o încercare de a ieși din această situație, ar trebui să se ia în considerare introducerea pe baza GOST R - [ ] a unei scale pentru estimarea eficienței amestecării vorbirii în ceea ce privește intervalele de modificare a inteligibilității: Mesajul vocal interceptat conține numărul de cuvinte înțelese corect, suficient pentru a compila o informație detaliată despre conținutul conversației interceptate Mesajul vocal interceptat conține numărul de cuvinte înțelese corect, suficient doar pentru a compila o scurtă adnotare care să reflecte subiectul, problema, scopul și sensul general al conversației interceptate Mesajul vocal interceptat conține cuvinte separate corect înțelese, permițând stabilirea subiectului conversației La ascultarea fonogramei unui mesaj vocal interceptat, este posibil să se stabilească faptul prezenței vorbirii, dar este imposibil să se stabilească subiectul conversației S-a stabilit că compilarea unei informații detaliate despre conținutul unei conversații interceptate este imposibilă cu o inteligibilitate verbală mai mică de - %, iar o scurtă adnotare-referință - cu o inteligibilitate verbală mai mică de - % Cu o inteligibilitate verbală mai mică de - %, este mult mai dificil să stabiliți chiar și subiectul unei conversații în curs, iar cu o inteligibilitate verbală mai mică de %, acest lucru este practic imposibil chiar și cu utilizarea filtrării moderne de zgomot tehnologie În conformitate cu GOST R - [ ], înțelegerea vorbirii transmise prin canalele de comunicare cu o mare tensiune de atenție, întrebări repetate și repetări este observată cu inteligibilitate silabică - %, iar cu inteligibilitatea silabică mai mică de %, există ilizibilitate a textului coerent (deconectare) pe perioade lungi de timp Din aceste poziții, ținând cont de relația dintre inteligibilitatea verbală și cea silabică, se poate calcula că inteligibilitatea maximă admisă pentru amestecarea efectivă nu va fi mai mare de % cu inteligibilitatea verbală În al treilea rând, precizarea criteriului inteligibilității maxime admisibile prin stabilirea valorilor limitelor modificării acestuia definite mai sus, fără îndoială, poate fi considerată un pas în calea ieșirii din situația de criză actuală Totuși, progresele ulterioare în această direcție întâmpină un obstacol destul de serios legat de imperfecțiunea metodelor existente de evaluare a inteligibilității la nivel material Acest lucru se explică prin faptul că aproape toate metodele cunoscute în prezent de evaluare a inteligibilității se bazează pe determinarea raportului semnal-zgomot în formularea clasică a problemelor de comunicare, care presupune distorsiunea semnalului prin zgomot aditiv O astfel de declarație a problemei se dovedește a fi inacceptabilă pentru metodele de amestecare: întrucât nu prevede stabilirea relației raportului semnal-zgomot cu cantitatea medie de informații reciproce în formele logice de vorbire transmise și recepționate, în urma scalei de rating date; din cauza imposibilităţii reprezentării distorsiunilor introduse prin amestecare sub formă de zgomot într-un cadru direct Singura excepție este amestecarea de amplitudine, adesea interpretată ca zgomot sau mascarea unui semnal de vorbire În acest caz, este de obicei posibil să se determine parametrii de zgomot Acest lucru explică în mare măsură faptul că aproape toate rezultatele cunoscute în prezent ale cercetărilor în direcția căutării unor abordări pentru evaluarea optimă a eficienței amestecării analogice sunt limitate în principal la amestecarea de amplitudine Problemele notate pot fi rezolvate din punctul de vedere al conceptului acceptat de teoria informaţiei Să arătăm posibilitatea unei astfel de soluții în raport cu informațiile de vorbire Se știe că informația semantică din vorbire se formează ca urmare a unei modificări a spectrului instantaneu al procesului de vorbire Studiile experimentale ale procesului vorbirii arată că componentele spectrului său în benzi de frecvență înguste devin independente atunci când frecvențele medii ale acestor benzi sunt separate de - Hz Organul auzului uman este similar cu un analizor de spectru paralel Conține un set de filtre reglate pe diferite frecvențe și conectate la sistemul nervos central, care ia decizii cu privire la mesajele audio primite În fiecare dintre aceste canale de informații spectrale, se efectuează un fel de control automat al câștigului Constanta de timp a acestui sistem de control este de aproximativ min Din această scurtă descriere a procesului de vorbire și a percepției sale, rezultă că, dacă procesul de vorbire este împărțit în componente în benzi de frecvență înguste, atunci cantitatea medie de informații emise de auz va fi egală cu suma cantităților medii de informații din aceste canale spectrale Prin selectarea experimentală a benzilor de frecvență pentru fiecare canal de informație spectrală, este posibil să se obțină egalitatea cantităților medii de informații din canale Având în vedere acest lucru, expresia pentru cantitatea medie de informații dintr-un mesaj audio alocată prin auz este ia forma i[Scx;Scy]=-J-^F(G"(/)/G"(/))> eu = ( , ) unde Nt este numărul de canale de informare; Gs(ft) este spectrul de mesaje din canalul de informații zm; Gn(f}) este spectrul de zgomot în al-lea canal de informare; frecvența medie z-ro a canalului de informații; - relativa - reducerea semnalului/zgomotului; F(Gs(fy/-coeficient de percepție a informațiilor; Scx și ssu sunt ansambluri de mesaje transmise și sonore O caracteristică a reprezentării ( ) este că eșantionul pro- spaţiile ansamblurilor Scx şi Scy unesc aici anumite forme logice de vorbire Astfel de forme logice pot include cuvinte, silabe sau foneme (forme logice elementare de vorbire) Pentru a determina pe baza inteligibilității ( ), sunt rezolvate sarcini principale: Stabilirea unei legături între inteligibilitatea vorbirii și cantitatea medie de informații Distribuția uniformă a cantității medii de informații pe canalele spectrale Determinarea cantității medii de informații în fiecare canal spectral în funcție de raportul semnal-zgomot Prima problemă se rezolvă în felul următor Fie s^) formele logice de vorbire transmise ale ansamblului Scx, iar s H[K/E ], intervalele de valori posibile ale O(FOT, ) și C(OCD,S) se vor încadra în: -H[K] °s °E • Dovada Conform Corolarului , aplicat teoremei de amestecare digitală, ținând cont de Corolarul , condițiile pentru TNDS sunt întotdeauna îndeplinite atunci când, în codificarea digitală, condițiile cresc entropia ansamblului de chei de la HK/U la HK/UE cu valoarea de ( , ) Apoi, înlocuind expresia pentru IU;E , avem Având în vedere că U este rezultatul unei compandări digitale a lui S și înlocuind H U/E în ( ) cu h[S/E], obținem inegalitatea Valabilitatea inegalității ( ) rezultă din demonstrarea inegalității ( , ) Pentru a face acest lucru, definim diferența Datorită determinismului transformărilor de codificare digitală, incertitudinea medie a criptogramelor, atât sub condiția mesajelor cunoscute, cât și sub condiția rezultatelor cunoscute ale comandării lor digitale, va fi absent, adică h[E/S]=O şi H U/S= Apoi ( , ) Având în vedere că U este rezultatul compresării digitale S, pe- noi mergem ( , ) unde El este entropia epsilon a comandării digitale a mesajelor sursă Deoarece Nu întotdeauna mai mică decât H[S], adică nu H -h[S/E] ( , ) Entropia h[S/E] din ( ) va fi maximă sub distribuția condiționată Gaussiană P(s/e) Dacă amestecarea digitală este simetrică și condiția de decriptare neechivocă este îndeplinită, atunci densitatea de probabilitate condiționată P(s/e) poate fi definită ca ( , ) unde o = Pr - Gg, Gg este dispersia mesajelor, G | este varianța criptogramelor Pe baza ( ), găsim h[S/E]=-£p(e)p> (s/e) log />(s/c)ds= lo ( , ) Înlocuind ( ) în ( ), obținem în cele din urmă Dmax[ S]^He -llog [ ne(o| -c*)], Q E D Teorema dovedită devine extrem de importantă dacă problema protecției la imitație este rezolvată în cursul codificării digitale Această decizie, de regulă, se realizează prin introducerea de mesaje în legea formării cheilor (Fig ) Orez Rezolvarea problemei protecției împotriva imitațiilor în codificarea digitală Această decizie se explică prin faptul că majoritatea mesajelor continue și, în primul rând, mesajele de vorbire, au o potențială rezistență la imitare, adică rezistență la impunerea de mesaje false Prin urmare, includerea mesajelor în legea formării cheilor contribuie la potențiala rezistență la imitare a cheilor în codificarea digitală Totodată, fiind- Există opinia că dependența statistică a cheilor și a mesajelor introduse în acest fel reduce eficiența amestecării Semnificația practică a teoremei constă în faptul că arată posibilitatea creșterii eficienței codificării digitale prin introducerea unei dependențe statistice a cheilor de mesaje Mai mult, din graficele din Fig se poate observa că această creștere a zonei de îndeplinire a condițiilor TNDS (D(Ocd, ) > ) poate lua valori care depășesc eficiența maximă a codificării digitale cu independență de mesaje și chei De aproximativ Orez Limite inferioare pentru eficiența maximă a amestecării digitale cu dependența statistică a mesajelor și a cheilor Generalizarea analizei Teoremei în raport cu rezolvarea complexă a problemelor de codificare și protecție la imitație conduce la o schemă de codificare digitală potențial rezistentă la imitație care asigură indescifrabilitate teoretică (Fig ) AI Compania digitală pct ik oetss Orez Schemă generalizată de codificare digitală adaptivă Caracteristica principală a schemei de mai sus este includerea regulii ( ) în legea formării cheilor și corectarea acesteia pe baza rezultatelor evaluării eficienței de amestecare digitală (DSEC) formată pe baza ( ) Acest lucru face posibilă, pe baza GECF, realizarea posibilității unei schimbări adaptative a legii formării cheilor în ceea ce privește îndeplinirea condițiilor TNDS Cu alte cuvinte, legea formării cheilor poate fi ajustată adaptiv la îndeplinirea inegalității ( ) prin intermediul GECF cu corectarea caracteristicilor statistice ale criptogramelor (o ^) și a parametrilor informaționali ai compresiei digitale (H£) Astfel, rezolvarea problemei evaluării eficienței codificării digitale din punctul de vedere al teoriei informațiilor conduce la o abordare fundamental nouă, care deschide posibilitatea codificării digitale adaptative la condițiile TNDS la codificarea unei surse continue LISTA ABREVIERILOR ACCEPTATE ANDSH - indescifrabilitate absolută HF - frecvență înaltă DPCM - Modularea codului de impulsuri diferențiale DK - decodare DCBP - canal binar fără memorie dki - decodare sursă DSKBP - canal binar simetric fără memorie DCT - Transformată Cosinus discretă dsh - decriptare AI este o sursă de informații uk - sursa cheie PCM - modulare cod impuls cerneală - informație de comunicare directă ITC - informații tehnice de comunicare k - codificare ki - codificare sursă kk - codificarea canalului CS - canal de comunicare nici - utilizator neautorizat nsd - acces neautorizat LF - frecvență joasă OPAS - transformare inversă de codificare analogică oecs - evaluarea eficacității codificării digitale PAS - transformare de codificare analogică PI - destinatarul informațiilor pndsh - indescifrabilitate practică FT - transformata Fourier dss - digital scrambling transform pccs - transformare digitală de decriptare RLZ - linie de întârziere recurentă RMS - eroare pătratică medie tndsh - indescifrabilitate teoretică ts - mijloace tehnice tsk - mijloc tehnic de comunicare UOZ - dispozitiv de prelucrare și protecție UOPSi - dispozitiv de conversie inversă a semnalului sursă UOPSk - un dispozitiv pentru conversia inversă a semnalului pentru un canal UPSi - dispozitiv pentru conversia directă a semnalelor sursă UPPsk - dispozitiv pentru conversia directă a semnalului pentru canal DF - filtrare digitală h - persoană sh - criptare Grupul abelian Imunitate absolută la zgomot Ultimate Fortitude Reprezentarea digitală adaptivă a mesajelor continue Codificare digitală adaptivă Axioma Semnal acustic Algoritmul de decodare a codului Hamming Algoritmul de decodare a codului de linie Algoritmul lui Euclid Algoritmul de codare Hodak Algoritmul de codificare Huffman Algoritmul de codificare Shannon-Fano Algoritm pentru evaluarea metodelor de compresie a informațiilor la codificare Algoritm pentru construirea codurilor Bowes-Chowdhury-Hokvingham Algoritmul de calcul al inteligibilității vorbirii Algoritmul de generare a codului Hamming Algoritm pentru generarea de secvențe de cod de lungime maximă Algoritm pentru generarea secvențelor de cod ale codului ciclic Alfabetul sursă Alfabetul Amestecare analogică Semnale analogice Ansamblu de secvențe de cod la intrarea canalului Ansamblul de mesaje sursă de informații Ansamblul de mesaje ale destinatarului informațiilor Ansamblul Probabilitatea posterioară Ecuația diferențială anterioară Canale asimetrice Cifruri asimetrice Atractor Informații audio Semnal audio Autentificare Transformări afine Bitul Codare bloc Codarea prefixului bloc Blocare codare eficientă Baud Opțiuni pentru strategiile de codificare pentru surse continue Proces aleator continuu Vector Markov Măsura probabilității unui ansamblu dintr-o sursă Markov Măsura probabilității Descrierea probabilistică a sursei Probabilitatea distorsiunii secvenței de cod Probabilitatea de distorsiune a simbolului secvenței de cod Probabilitatea unei erori nedetectate Probabilitatea erorii detectabile Probabilitatea de eroare în secvența de cod Limita superioară a redundanței codării de corectare a erorilor în transmiterea informațiilor de vorbire pe canale discrete Limită superioară a redundanței codării de corectare a erorilor Limită superioară a factorului de redundanță al codificării de corectare a erorilor Greutatea secvenței de cod Informații reciproce Informații video Semnal video Tipuri de protecție a informațiilor Tipuri de codare Sursă virtuală discretă Sursă continuă virtuală Vocoder Transforms Ora de întoarcere Spațiul de probă al ansamblului sursă Markov Spațiul de probă Durabilitate garantată Aproximația Gaussiană Procesul scalar Gaussian Markov Zgomot continuu ipotetic de amestecare Două interpretări ale problemei codificării eficiente a surselor Reprezentare binară Canale binare Canal binar simetric fără memorie (BSBP) Densitatea spectrală a zgomotului de cuantizare D Metoda deductivă Decodificare (DC) Decodificare cod de linie Funcția Delta Arborele de cuvinte de cod Decriptare (LH) Discretizare cu integrare Transformarea Wavelet discretă (DWT) Transformată discretă de cosinus (DCT) Canale discrete fără memorie Canale discrete cu memorie Ansamblul discret Sursă discretă fără memorie Sursă discretă cu memorie Dit Modularea codului diferențial de impulsuri (DPCM) Entropia diferenţială Ecuația diferențială Fokker-Planck-Kolmogorov Domeniul DWTXapa Sarcina de protecție împotriva imitațiilor Sarcina de sincronizare a codificatoarelor O caracteristică remarcabilă a codurilor cu greutate constantă Combinație de coduri interzise Ideea de codificare aritmetică Redundanța surselor discrete fără memorie Redundanța surselor discrete cu memorie Redundanța surselor discrete Redundanță de codare sursă Bernoulli Redundanță de codare Hodak pentru sursa Bernoulli Redundanță de codare Redundanță robustă a erorilor de decodare Redundanța codului de corectare a erorilor Redundanța surselor staționare ergodice Markov Redundanță codificare generică Rescalare cu codare aritmetică Protecție împotriva imitației Rezistență la imitație Set invariant de secvențe Integrala probabilităților Interval de eșantionare Capacitatea de informare a ansamblului surselor Cuantificarea informațiilor Imagine informativă Informații de comunicare directă (INC) Informații de telecomunicații (ITC) Redundanță artificială Spring Bernoulli Sursa de informații (AI) Sursă cheie (IR) Tasta sursă Canalul de transmitere a informațiilor Canal de comunicație (CS) Channel Matrix Proces cuantificat Secvența de taste Date cheie Cod de gamă Cod gri Cod subcuvânt Cod cu greutate constantă / Codificare (K) Codificare liniară Combinația de coduri Secvența de cod Arborele de codare Hodak Distanța cod Coduri Bowes - Chowdhury - Hockwingham (coduri BCH) Coduri de corectare a erorilor Codurile de detectare a erorilor Coduri de lungime fixă Cantitatea de informații pentru a reprezenta pe deplin modelul domeniului de rang Cantitatea de informații despre coordonatele domeniilor Cantitatea de informații despre rapoartele de contrast Cantitatea de informații despre coeficienții de luminozitate Cantitatea de informații despre tipul de transformare afină Număr de informații Numărul informațiilor proprii Modularea codului impulsurilor diferențiale combinate Comunicare Companding Informații complete Imaginea Compresie spectrală și temporală Compresie Lanț Markov finit omogen Conceptul Conceptul de teoria informației Funcția de corelație a unui proces Gaussian Markov Coeficientul stocastic (variabilitate) Raportul de redundanță a erorilor de decodificare de corectare a erorilor Factor de redundanță a codului de eroare Factorul de redundanță Rata de detectare a erorilor Factorul de distingere a caracterelor Factorul de eficiență al codului de eroare Criptograma Eroarea medie pătratică minimă (RMS) criteriul Ordinea lexicografică Eșantionarea liniară Prezentare logică nivelul Forma logică a informației Entropia relativă maximă pe număr Numărul maxim de erori corectabile în mod fiabil Numărul maxim de erori detectabile în mod fiabil Pierdere maximă de reprezentare digitală Sursa Markov de informații de ordinul al r-lea Model matematic pentru evaluarea unei imagini informaționale Modelul matematic al transferului de informații Stratul de prezentare a materialului Forma materială a informațiilor Matricea coeficienților de bază (cosinus) DCT Matricea densității spectrale a zgomotului de modelare Coduri instant Metoda stivei de cărți Metoda IFC Metoda LZ Metoda LZ Metoda LZW Metoda Hilbert-Moore Modularea codului de impulsuri (PCM) Metoda Shannon-Fano Metoda Shannon Metode de amestecare a amplitudinii Metode de inversare comutată Metode de permutare a frecvenței Redundanță minimă în codificarea tip VB Distanța minimă de cod pentru codul de linie Distanța minimă de cod Polinoame minime de grade impare Multe surse Multe secvențe tipice Experimentul de gândire Cea mai mare cantitate posibilă de informații Cel mai mic multiplu comun (LCM) Nat performanță naturală Cod binar natural Distribuția inițială a probabilității Codare non-bloc tip VB Cod non-bloc tip W Stare irevocabilă Caracteristica de cuantizare neliniară Nefiabilitatea canalului Punct de afișare fix Codare continuă Ansambluri continue la intrarea și ieșirea unui canal cu parametri continui Ansamblul continuu Ansamblul comun continuu Sursa continuă Coduri ireductibile Polinomul ireductibil Inegalitatea lui Jensen Inegalitatea lui Kraft Coduri neregulate Stare de necompusă Utilizator neautorizat (UA) Coduri nesistematice Canale nestaționare Limită inferioară pentru pătratul mediu al erorii de cuantizare Limita inferioară a redundanței de codare de corectare a erorilor Limită inferioară pentru o eficiență maximă de codificare digitală Funcția de corelare normalizată Valori normalizate ale pragurilor de cuantificare Domenii de posibile valori de eficacitate a criptării Transformări inverse analogice de amestecare (OPAS) Inversarea teoremei de codare pentru un canal discret la transmiterea de informații din surse continue Inversarea teoremei de codificare Shannon pentru canalul Conversia teoremei lui Shannon pentru un canal zgomotos Model matematic general al unui canal de transmisie a informațiilor discrete Modelul matematic general al unui canal continuu Model de eroare matematică generală pentru un canal discret Tehnica generală de codificare de corectare a erorilor Plicul spectral Neambiguitatea decriptării Bloc solid Filtrare digitală optimă (DF) Codificare optimă Codare universală optimă Componentele aleatoare ortogonale ale unui proces Sarcina principală a securității informațiilor Teorema de codare de bază pentru surse de memorie discretă Sarcini de codare de bază Caracteristicile cheie ale reprezentării digitale prin PCM Proprietățile de bază ale secvențelor de cod de lungime maximă Proprietățile de bază ale codurilor ciclice Proprietățile de bază ale entropiei ansamblurilor discrete Caracteristici ale amestecării digitale Date cu cheie publică Caracteristica distinctivă a utilizării inteligibilității ca indicator al performanței de amestecare Redundanță de codificare relativă Frecvența relativă de apariție Entropia relativă Scor de lizibilitate Evaluarea eficacității amestecării analogice Digital Scrambling Performance Evaluation (DESC) Spectacol Paradox Parametru ton-zgomot Sistem parametric de ecuații Codificare parametrică Perioada unui ansamblu de stări de necompunet Perioada de secvență de lungime maximă Sursă staționară discretă periodică Densitatea de probabilitate a unei variabile aleatorii gaussiene Subcuvântul Exponent de codare aleatorie Câmpul Galois Intervalul de jumătate de probabilitate Destinatarul informațiilor (PI) Imunitatea la zgomot a codului cu greutate constantă Imunitate la zgomot Praguri de cuantizare Generarea (producerea) a matricei codului Matricea generativă a spațiului nul Generarea polinomului Comanda de grup Ordinul de câmp Galois postulatul Regula maximă de decodare posterioară Regula de decodificare a probabilității maxime Indescifrabilitate practică (PNDS) Reprezentarea codării sursă cu coduri de lungime fixă Reprezentarea procesului de codificare ca arbore de cod Reprezentarea telecomunicațiilor din punctul de vedere al teoriei probabilităților Reprezentarea telecomunicațiilor din punctul de vedere al teoriei informațiilor Reprezentarea parametrilor semnalului transformata Fourier Transformări analogice de amestecare (ASS) Transformări de descifrare digitală (DSDC) Digital Scrambling Transforms (DSC) Prefixul cuvântului cod Polinomul reducabil Polinomul primitiv Principiul de codificare a intervalelor Principiul utilizării tabelelor de decodare Principiul mapărilor comprimate Probleme de evaluare a eficacității amestecării analogice Cod matrice de verificare Verificați caracterele Verificați polinomul Sindromul de testare Produsul a două polinoame într-un câmp dat Performanța sursei Lățimea de bandă pe unitatea de timp Lățimea de bandă a canalului discret Debitul unui canal continuu pe unitatea de timp Secvențe de cod binar pseudo-aleatoriu Tasta de lucru Coduri uniforme Împărțirea unui ansamblu comun Inteligibilitatea vorbirii Lizibilitatea Tasta extinsă Codarea diferențelor unei surse continue Codificarea predicției diferențiale Combinația de coduri permisă Zona clasată Distanța de hamming Codurile obișnuite Alfabetul redus Ansamblul redus Linie de întârziere recurentă (RLD) Transformări ale elementelor de vorbire Rezolvarea problemei protecției împotriva imitației în codificarea digitală Auto-asemănarea Codurile convoluționale Fluxul luminos Proprietăți ale măsurătorii de probabilitate a unui ansamblu discret Proprietățile spațiului eșantion al unui ansamblu discret Proprietățile surselor staționare discrete Proprietățile cifrurilor indescifrabile teoretic Proprietățile de entropie ale unei surse ergodice staționare discrete Proprietatea asociativității Proprietatea comutativității Proprietatea prefix Proprietate ergonomică Semnalul Criptare simetrică Canale simetrice Sistemul funcțiilor de bază ale DCT IFS (Sistem cu funcții repetate) Sistemul de modele matematice de transmitere și protecție a informațiilor coduri sistematice Procesul stocastic scalar Rata de codificare Rata de transfer de informații pentru canalul Rata de transfer de informații de la sursa Rata simbolurilor pe canal , Rata simbolului sursă Scrambling Metode de codificare a dicționarului Codificare aleatorie Coduri aleatorii Entropia comună Ansamblul comun Mesajul Parametrii de semnal corelați Sursa Markov afirmă Densitatea spectrală a imaginii Densitatea spectrală a zgomotului a vizualizării digitale Canale spectrale Transformări spectrale Metode de determinare a caracteristicilor informaționale ale surselor continue Cantitatea medie de informații reciproce ale partițiilor software Cantitatea medie de informații Informații reciproce medii pentru un ansamblu comun continuu Informații reciproce medii Înălțimea medie a arborelui cod Incertitudinea medie a erorii Incertitudinea medie a mesajului în timpul decodării Informații reciproce condiționale medii Informații condiționale medii Matrici statistice ale codului Canale staționare Sursă staționară discretă Codarea sursă Bernoulli costă Codarea sursă staționară costă Persistența protecției informațiilor Puterea de amestecare digitală Puterea de criptare Matrici stocastice Strategia de amestecare analogică Strategia de evaluare a acurateții unei reprezentări digitale Strategia de amestecare digitală Strategie eficientă de codificare sursă Suma a două variabile aleatoare gaussiene cu zero înseamnă Suma a două polinoame dintr-un câmp dat este Cantitatea totală de informații după transformarea wavelet Volumul total de informații după DPCM Super scrisoarea Tabelul de decodificare Teorema de codificare analogică a sursei continue Teorema lui Banach Teorema de discretizare a lui Kotelnikov Teorema pentru limita inferioară a eficienței maxime a amestecării digitale sub dependența statistică a ansamblurilor de mesaje cheie Teorema de codificare pentru un canal discret la transmiterea continuă a informațiilor sursă Teorema de codificare pentru sursele Markov Teorema de codificare pentru surse continue Teorema de codificare pentru surse staționare Teorema de codificare pentru sursele ergodice Teorema de codificare a lui Shannon pentru surse fără memorie Teorema de codare a lui Shannon pentru un canal fără interferență Teorema de codare a lui Shannon pentru un canal zgomotos Teorema lui Macmillan Codarea neuniformă a literelor sursă teorema Teorema uniformă de codare a sursei Teorema de codificare digitală cu sursă continuă Teorema lui Shannon pentru codificarea în bloc a surselor discrete Teorema lui Shannon pentru codarea non-bloc a surselor discrete Teorema de criptare pentru o sursă discretă Indescifrabilitate teoretică (TNDSH) Canal de comunicare tehnică, canal de telecomunicații (TKK) Secvențe tipice Tipuri de codare sursă Tipuri de codare de corectare a erorilor Selectarea locului Trei interpretări ale entropiei sursei Coduri ciclice scurtate Niveluri de cuantizare Condiție pentru asigurarea unei decodări clare Condiții optime pentru o codificare eficientă Condiții pentru indescifrabilitatea teoretică în sens restrâns (strict) Condiții pentru indescifrabilitatea teoretică în sens larg Condiția indescifrabilității teoretice Informații proprii condiționate Entropia condiționată Comportamente durabile Formant Regiunile formante Fractalul Funcția de corelare Compandarea digitală Amestecare digitală Citire digitală (pixeli) Procesul digital Semnale digitale Frecvența înălțimii Numărul de secvențe permise în codurile cu greutate constantă Pasul de cuantizare Căutarea în zona de domeniu pasul Sisteme de transmisie în bandă largă Cod Criptare (W) Scala de evaluare a performanței de amestecare a vorbirii în raport cu intervalele de inteligibilitate Zgomot de reprezentare digitală Secvența de zgomot Probabilitate echivalentă a unei erori Extindere Extrapolarea Entropia empirică Spectrul de energie Energia de intrare Energia simbolului codului de corectare a erorilor Codul primitiv Simbol Energie Puterea sursei de entropie Puterea de entropie Entropia unei surse discrete pe litera Entropia unei surse discrete Entropia unei surse Markov pentru litera Entropia unei surse staționare Entropia Epsilon - entropia de cuantizare Epsilon-entropia unei funcții aleatoare staționare Epsilon-entropia comandării digitale a mesajelor sursă Epsilonentropia reprezentării digitale a unui proces aleatoriu Sursă staționară discretă ergodică Ergodicitatea Codificarea eficientă a rezultatelor reprezentării digitale Codare eficientă Eficiența amestecării digitale Eficiența criptării lista bibliografică Gallagher R Teoria informației și comunicarea de încredere - M : Radio sovietică, Velichkin A I Transmiterea mesajelor analogice pe canale digitale - M : Radio și comunicare, Shannon K Lucrează despre teoria informației și cibernetică Pe din engleza - M : PIL, Shannon K Teoria matematică a comunicării // Works on Information Theory and Cybernetics - M : PIL, Shannon K Teoria comunicării în sistemele secrete // Lucrări despre teoria informației și cibernetică" - M : IIL, Kolmogorov A N Teoria informației și teoria algoritmilor - M : Nauka, Euclid Începuturi / Per din greaca și comentariile lui D D Mordukhai-Boltovsky cu participarea editorială a lui I N Veselovsky - M -L : GTTI, Krichevsky R E Compresie și regăsire informații - M : Radio și comunicare, Markov A A Introducere în teoria codificării - M : Nauka, Stratonovich R L Teoria informației - M : Radio sovietică, Kotelnikov V A Teoria imunității potențiale la zgomot - M : Editura Energiei de Stat, Kotousov A S Teoria informației - M : Radio și comunicare, HZ Kholodov A V Teoria informației și aplicarea acesteia la problemele de control și monitorizare automată - M : Nauka, Yaglom A M , Yaglom I M Probabilitate și informație - M : Nauka, Goldman S Teoria informaţiei: Per din engleza - M : IL, Teoria informaţiei şi aplicaţiile sale, Ed A A Kharkevich - M : Fiz-matgiz, Peterson W , Weldon E Coduri de corectare a erorilor: Per din engleza / Ed R L Dobru anvelopă - M : Mir, Fink L M Teoria transmiterii mesajelor discrete - M : Radio sovietică, Fink L M , Korzhik V I , Shchelkunov KN Calculul imunității la zgomot a sistemelor de transmisie de mesaje discrete - M : Radio și comunicare, Mizin I A , Urinson L S , Khrameshin G K Transmiterea informațiilor în rețele cu comutare de mesaje -M : Comunicare, Sapozhkov M A Semnal de vorbire în cibernetică și comunicații - M : Svyazizdat, Pokrovsky N B Calculul și măsurarea inteligibilității vorbirii - M : Svyazizdat, Gurov V S , Emelyanov G A , Etrukhin N N , Osipov V T Transfer de informații discrete și telegrafie - M : Comunicare, Purtov L P Elemente ale teoriei transmiterii informaţiei discrete M : Comunicare, Kotenko V V Linii de comunicație prin cablu - Harkov: HVVAUS, Huffman L D Metode moderne de protecție a informațiilor - M : Radio sovietică, Shvartsman V O , Emelyanov G A Teoria transmiterii informațiilor discrete - M : Comunicare, Lipkin I A Fundamente ale ingineriei radio statistice, teoria informației și codificare - M : Radio sovietică, Shulgin IN SI Fundamentele teoriei transmiterii informaţiei Partea Codare economică - Harkov: Nat aerospațial, un-t KhAI, Shulgin V I Fundamentele teoriei transmiterii informaţiei Partea Codare anti-zgomot - Harkov: Nat aerospațial, un-t KhAI, Petrakov A V , Lagutin V S Scurgeri de informații și protecție în canalele telefonice - M : Energatomizdat, Barsukov V S Sisteme complexe de securitate a informațiilor Protejarea datelor - M : Soling, Kolesnik V D , Poltyrev G Sh Curs de teoria informației - M : Nauka, Potapov V N Teoria informației Codarea surselor probabilistice discrete: Ghid de studiu - Novosibirsk: NGU, Vassar J Criptologie modernă: Per din engleza - M : POLYMED, Goppa V D Introducere în teoria algebrică a informației - M : Nauka: Fizmatlit, Khinchin A Ya Despre teoremele de bază ale teoriei informaţiei // Uspekhi Matem Științe - - Nr ( ) - P - MSMShap Teoremele de bază ale teoriei informației Ann Math stat - -P - Teoria informației Kotenko BB Partea Codificare Surse de informații: Tutorial - Taganrog: Editura TRTU, Kotenko V V Teoria informației Partea Codificarea canalelor: Tutorial - Taganrog: Editura TRTU, GOST R - Sistemul de transmisie a vorbirii la viteză redusă pe canale digitale Parametrii de calitate a vorbirii și metodele de măsurare - M : Gosstandart al Rusiei, GOST R - Protejarea datelor Termeni și definiții de bază - M : Gosstandart al Rusiei, GOST R - Transmiterea vorbirii pe căi de comunicare Metode de evaluare a calității, lizibilității și recunoașterii - M : Gosstandart al Rusiei, GOST - Procese aleatorii și sisteme dinamice, Termeni și definiții - M : GSK, GOST - Transfer de date Termeni și definiții - M : GSK, GOST - Rețeaua de comunicații este digital integrată Termeni și definiții -M : GSK, GOST - Calculatoare și echipamente de transmisie a datelor - M : GSK, Kotenko V V , Polikarpov S V Strategia de formare a spațiilor virtuale de probă de ansambluri cheie în rezolvarea problemelor de securitate a informațiilor // Probleme de securitate a informațiilor - - Nr - S - Kotenko V V , Rumyantsev K E , Polikarpov S V O nouă abordare a evaluării eficacității metodelor de criptare din punctul de vedere al teoriei informațiilor // Probleme de securitate a informațiilor - - Numarul - S - Kotenko V V , Rumyantsev K E , Yukhanov Yu V , Evseev A S Tehnologii de virtualizare a proceselor de protecție a informațiilor în rețele de calculatoare // Buletin de tehnologii informatice și informaționale: Nauch -prakt revistă - - Nr ( ) -CU - Kotenko V V , Rumyantsev K E , Polikarpov S V Metodă de criptare a informațiilor binare // Brevet pentru invenție nr RF Publicat: Taur nr -S - Kotenko V V , Evseev A S , Rumyantsev K E O nouă abordare a evaluării eficienței și calității amestecării bazată pe determinarea identității tiparelor de vorbire verbală virtuală Izvestiya SFedU Știința tehnică Jurnal științific, tehnic și aplicat , nr ( ) - S - Kotenko V V Evaluarea imaginii informaționale a obiectului studiat din punctul de vedere al teoriei cunoașterii virtuale // Izvestiya TSURE - - Nr ( ) - S - Kotenko V V , Rumyantsev K E , Polikarpov S V , Levendyan I B Criptare bazată pe reprezentarea multidimensională a spațiilor de eșantionare virtuale // Izvestiya TSURE - - Nr - S - Kotenko V V , Rumyantsev K E , Serogodsky A I , Kotenko S V Tehnologia computerizată de identificare a personalității bazată pe formarea unei evaluări a unei imagini personale virtuale // Sat Actele celei de-a VIII-a Conferințe Științifice și Practice Internaționale "Securitatea Informației" - Taganrog, - S - Kotenko V V , Obozov E A , Kotenko D V Strategie de utilizare a imaginilor verbale virtuale în tehnologiile electorale // Sat lucrări A IX-a Conferință internațională științifică și practică "Securitatea informațiilor" - Taganrog, - S - Kotenko V V , Zhankevich A O Identificarea textelor pe baza evaluării redundanței verbale virtuale // Cercetare fundamentală - M , - Nr -CU Kotenko V V Tehnologia informației pentru evaluarea sferei de aplicare a codurilor imune la zgomot pentru rezolvarea problemelor de protecție împotriva imitației // Sat lucrări A IX-a Conferință internațională științifică și practică "Securitatea informațiilor" -Taganrog, -S - Kotenko V V O nouă abordare a evaluării limitelor informaționale ale redundanței informațiilor de vorbire în sarcinile de asigurare a securității informațiilor // Sat Actele celei de-a IX-a Conferințe Științifice și Practice Internaționale "Securitatea Informației" - Taganrog, - S - Kotenko V V , O nouă abordare a evaluării eficienței codificării digitale// Sat Proceedings of the th International Science and Practice Conference "Information Security" - Taganrog, - P - Kotenko V V Strategie de evaluare a eficacității cifrurilor virtuale// Sat Actele celei de-a VIII-a Conferințe Științifice și Practice Internaționale "Securitatea Informației" - Taganrog, - S - Kotenko V V Strategie de aplicare a teoriei virtualizării fluxurilor informaţionale în rezolvarea problemelor de securitate informaţională // Sat Actele celei de-a IX-a Conferințe Științifice și Practice Internaționale "Securitatea Informației" - Taganrog, - S - Kotenko V V Eficacitatea modulării diferenţiale impuls-cod din punct de vedere al securităţii informaţiei // Sat Actele celei de-a IX-a Conferințe Științifice și Practice Internaționale "Securitatea Informației" - Taganrog, - S - Kotenko V V , Abushinov O V Evaluarea redundanței informațiilor audio în problemele de control al calității securității informațiilor obiectelor informatizare // Cercetare fundamentală - M , - Nr pp - Kotenko V V , Rumyantsev K E , Polikarpov S V Programul de evaluare a calității protecției informațiilor audio în timp real // Certificat nr al Federației Ruse / / Kotenko V V , Rumyantsev K E , Evseev A S Complex de laborator pentru studierea eficienței și calității metodelor de amestecare din punctul de vedere al analizei corelației imaginilor vocale virtuale // Certificat nr al Federației Ruse Kotenko V V , Rumyantsev KE Polikarpov S V , Levendyan I B Evaluarea calității protecției tehnologiei informației din punctul de vedere al unei reprezentări virtuale a procesului de criptare Actele celei de-a -a Conferințe Științifice și Practice Internaționale "Informația Modernă și Tehnologii Electronice" (SIET- ) - Odesa, - S Kotenko V V , Rumyantsev KE O nouă abordare pentru rezolvarea problemelor de securitate a informațiilor din punctul de vedere al criptării virtuale // Buletinul SSC RAS - T Z -№ -CU - Kotenko V V , Rumyantsev KE Caracteristici ale aplicării metodelor de transformare wavelet în rezolvarea problemelor de asigurare a securității informațiilor // Izvestiya TSURE - - Nr ( ) - S - Kotenko V V Identificarea și predicția formelor comportamentale conștiente și subconștiente ale personalității din punctul de vedere al formării unei imagini verbale virtuale // Izvestiya TSURE - - Nr ( ) - S - Kotenko V V , Evseev A S , Rumyantsev KE Influența caracteristicilor individuale ale surselor de informații despre vorbire asupra eficienței și calității amestecării Izvestiya SFU Știința tehnică Jurnal științific, tehnic și aplicat - - nr ( ) - S - Kotenko V V , Evseev A S , Rumyantsev KE Influența caracteristicilor informațiilor verbale asupra eficienței și calității amestecării // Izvestiya SFU Știința tehnică Jurnal științific, tehnic și aplicat - - Nr ( ) -CU - Kotenko V V , Kotenko S V Abordarea informațională pentru evaluarea eficienței codurilor de corectare a erorilor în codificarea canalelor continue Izvestiya SFU Știința tehnică Revista științifică, tehnică și aplicată - -Nr ( ) - P - Kotenko V Rumjantsev K Noua abordare pentru evaluarea eficacității protecției informațiilor audio pentru determinarea identității imaginilor vocale virtuale // Lucrările celei de-a doua conferințe internaționale privind securitatea informațiilor și rețelelor Asociația pentru Mașini de Calcul - New York, - P - CUPRINS Cuvânt înainte Introducere Capitolul Starea și problemele teoriei informației moderne Principii de construcție teoretică Sistemul de axiome și definiții originale Conceptul de teoria informaţiei Cuantificarea informațiilor Cantitatea de informații Cantitatea medie de informație și entropie Informații reciproce medii pentru ansambluri discrete Informații reciproce și informații proprii condiționate Informații reciproce medii și entropie condiționată Informații reciproce condiționale medii Proprietățile informațiilor reciproce medii Informații reciproce medii pentru ansambluri continue Capitolul SURSE DE INFORMAȚII Prezentarea surselor de informare Surse continue Surse discrete Entropia surselor discrete Surse discrete fără memorie Surse staționare discrete Surse staționare ergodice Surse Markov Entropia surselor continue Redundanța surselor de informații CAPITOLUL CODIFICAREA SURSELOR DISCRETE Strategie de codificare a surselor discrete Teoreme de codificare pentru surse discrete fără memorie Coduri cu lungime fixă Coduri neregulate Teoreme de codificare pentru surse discrete cu memorie Surse staționare Surse ergodice Sursele Markov Costul și redundanța codării Teorema lui Shannon pentru Codarea sursă Strategia de protecție a informațiilor la codificarea discretă surse Capitolul CODARE EFICIENTĂ METODE DE COMPRESIUNE INFORMAȚII CÂND CODARE DISCRETE SURSE Codificare literă cu literă Codificarea prefixelor Codificare optimă Codarea blocului Codare non-bloc Metoda lui Hodak Metode de codificare aritmetică Codare universală Tehnici de codare pe intervale Dicţionar coding methods metode Lempel-Ziv capitolul Reprezentarea numerică a mesajelor continue Prelevarea de probe Teorema de discretizare Cuantificare Codificare Caracteristicile prezentării digitale Caracteristicile informaționale ale acurateței digitale reprezentare Epsilon-entropie Probleme de transfer de informații continue cu estimare erori de eșantionare în timp și amplitudine Estimarea erorilor de discretizare în amplitudine Cuantificare Epsilon-entropie Epsilon-entropia reprezentării digitale informații audio Epsilon-entropia reprezentării digitale a informațiilor video Strategie de codare continuă a sursei Limite de redundanță a informațiilor Teorema de codificare pentru surse continue Strategia de securitate a informațiilor la codificare continuă surse CAPITOLUL Principii de compresie a informațiilor la codificarea continuă surse Cuantificarea informațiilor PCM diferenţial Transformări Wavelet discrete Transformări discrete de cosinus Codificare fractală Capitolul FUNDAMENTELE TEORETICE ALE TRANSFERULUI INFORMATIILOR Schema și modelul matematic general al transferului de informații Principii de codificare pentru un canal Modelul matematic general al canalelor de transmitere a informațiilor Reprezentarea codurilor sub formă de polinoame Grupuri și subgrupuri Câmpuri și polinoame Tehnica de construire a codurilor Algoritmul lui Euclid Reprezentarea codurilor sub formă de matrice Distanța minimă a codului Capitolul CODIFICAREA PENTRU CANALE DISCRETE Canale discrete Lățimea de bandă și viteza de transmisie Influența interferenței asupra transmiterii informațiilor Reguli de decodare Teoremele lui Shannon de codificare directă și inversă Codificarea canalelor discrete la transmiterea informațiilor surse continue Strategia de codificare a canalelor Metodologia generală codificare de corectare a erorilor Capitolul Caracteristicile generale ale metodelor imune la zgomot codificare Coduri de linie Codurile Hamming Coduri ciclice Codurile Bowes-Chowdhury-Hokvingham Coduri pseudociclice Secvențe de cod de lungime maximă Coduri de greutate constantă Capitolul CODIFICAREA PENTRU CANALE CONTINUE ІО І Informații reciproce pentru canale continue Debitul canalelor continue cu zgomot Gaussian aditiv și restricții pe banda de frecvență și pe putere Eficiența codurilor de corectare a erorilor la codificarea canalelor continue Capitolul ABORDAREA INFORMAȚIONALĂ A EVALUĂRII EFICIENȚA PROTECȚIEI TELECOMUNICAȚIILOR Posibilitățile abordării informaționale de evaluare a calității telecomunicațiilor ^ Evaluarea informaţională a calităţii comunicării Limitele informațiilor privind redundanța transmisiei Informații discrete Limitele informațiilor privind redundanța transmisiei informații despre vorbire Evaluarea informațională a eficacității protecției telecomunicațiilor Evaluarea eficacității și rezistenței criptării Evaluarea eficacității codificării analogice Evaluarea eficienței codificării digitale Lista abrevierilor acceptate Index Lista bibliografică Publicație științifică TEORIA INFORMAȚIEI ȘI PROTECȚIA TELECOMUNICAȚIILOR Editor I A Protsenko Corrector I A Protsenko Editor tehnic G S Kiryakova Designerul de copertă A V Kireev Licenta LR Nr - din Semnat pentru tipărire pe noiembrie Format х і Hartie offset Orele căștilor Imprimare offset Conv cuptor l , Uch -ed l , Tiraj exemplare Ordinul nr Editura Universității Federale de Sud , Rostov-pe-Don, str Pușkinskaia, Tel : ( ) - - Tipărită în tipografia Universității Federale de Sud , Rostov-pe-Don, str Stachki, / https://neculaifantanaru com/en/qualities-of-a-leader html